> ## Documentation Index
> Fetch the complete documentation index at: https://docs.comfy.org/llms.txt
> Use this file to discover all available pages before exploring further.

# SAM 3D Body: ComfyUIでビデオから3D人体メッシュを抽出する

> SAM 3D Bodyを使用してビデオから全身の3D人体メッシュを抽出します。ポーズと形状の推定、顔の表情、レンダリングされたメッシュオーバーレイビデオに対応しています。

**SAM 3D Body** は、単一のビデオから全身の3Dヒューマンメッシュを復元するオープンソースモデルです。ビデオトラッキング、人物検出、メッシュ予測を組み合わせて、ポーズ、形状、表情を含む人体を再構築し、復元されたリグをビデオにレンダリングし直します。

このワークフローは、モーションキャプチャのプロトタイピング、生体力学解析、キャラクターアニメーションのプレビジュアライゼーションに役立ちます。

### SAM 3D Body：ビデオからの3Dヒューマンメッシュ抽出

人物のビデオを読み込みます。ポーズ、形状、表情を含む全身の3Dヒューマンメッシュを抽出し、オーバーレイビデオとしてレンダリングします。

![SAM 3D Body ワークフロープレビュー](https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/templates/utility_sam3d_body-1.webp)

> [!TIP]
>
> > [tab] ローカルユーザー
> >
> > ComfyUI が最新版に更新されていることを確認してください。
> >
> > * [ComfyUI のダウンロード](https://www.comfy.org/download)
> > * [更新手順](https://docs.comfy.org/ja/installation/update_comfyui.md)
> >
> > このガイドで紹介するワークフローは、[ワークフローテンプレート](https://docs.comfy.org/ja/interface/features/template.md)から入手できます。
> > テンプレート内に該当のワークフローが見つからない場合、ComfyUI のバージョンが古くなっている可能性があります。
> >
> > ワークフローを読み込んだ際にノードが欠落している場合の考えられる原因：
> >
> > 1. 最新の ComfyUI（Nightly 版）を使用していない
> > 2. 起動時に一部のノードのインポートに失敗している
>
> > [tab] クラウドユーザー
> >
> > * [Cloud](https://cloud.comfy.org) は、ComfyUI の安定版リリース後に更新されます。
> >
> > したがって、このドキュメントでコアノードが見つからない場合、それは新しいコアノードがまだ最新の安定版にリリースされていない可能性があります。次回の安定版リリースをお待ちください。

> [card] [Comfy Cloud で実行](https://cloud.comfy.org/?template=utility_sam3d_body\&utm_source=docs\&utm_medium=referral\&utm_campaign=sam3d-body)
>
> このワークフローを Comfy Cloud ですぐに実行

> [card] [ワークフローをダウンロード](https://github.com/Comfy-Org/workflow_templates/blob/main/templates/utility_sam3d_body.json)
>
> JSON をダウンロードするか、テンプレートライブラリで "SAM 3D Body: 3D Human Mesh Extraction From Video" を検索してください

**入力素材**

このファイルを `LoadVideo` ノードにアップロードします：

> [card] [woman\_holding\_water\_glass.mp4](https://raw.githubusercontent.com/Comfy-Org/workflow_templates/main/input/woman_holding_water_glass.mp4)
>
> `LoadVideo` ノード 85 · `woman_holding_water_glass.mp4`

## 動作の仕組み

1. **ビデオ追跡**: SAM3がビデオのフレーム全体で人物を追跡します。追跡は、クリップに複数の人物が写っている場合には実質的に必須であり、一般的に検出精度も向上させます
2. **人物検出**: RT-DETRがテキストプロンプト（`person`）に基づいて人物のバウンディングボックスを検出します
3. **メッシュ予測**: SAM 3D Bodyが追跡されたフレームから全身の3Dメッシュを予測します。オプションのMoGeカメラ視野角（FOV）を使用すると、ソースビデオとの位置合わせをより正確に行えます
4. **表情**: MediaPipeベースのステップが表情を追加します。ベースモデルでは表情が検出されないためです
5. **スムージング**: メッシュシーケンスを時間経過に沿って平滑化します
6. **レンダリング**: ポーズファイル（GLB）を構築し、メッシュをビデオに再レンダリングして、出力ビデオとして保存します

## 実行手順

1. **ビデオを読み込む**: `LoadVideo` ノードを使用して人物のビデオを読み込みます
2. **ワークフローをキューに入れる**: Ctrl（macOSではCmd）+ Enterキーを押します
3. **パイプラインの完了を待つ**: トラッキング、検出、メッシュ予測、レンダリングが順番に実行されます
4. **結果を確認する**: `Preview3D` ノードでメッシュを確認します。オーバーレイビデオは `ComfyUI/output/video/SAM3D_body/` に保存されます

## モデルのダウンロード

SAM 3D Body モデルと必要なファイルをダウンロードし、対応する `models/` サブディレクトリに配置します。

> [card] [SAM3 multiplex チェックポイント](https://huggingface.co/Comfy-Org/sam3.1/blob/main/checkpoints/sam3.1_multiplex_fp16.safetensors)
>
> sam3.1\_multiplex\_fp16.safetensors: 動画トラッキング用の SAM3 multiplex チェックポイント

> [card] [SAM 3D Body 検出モデル](https://huggingface.co/Comfy-Org/sam-3d-body/blob/main/detection/sam_3d_body_dinov3_bf16.safetensors)
>
> sam\_3d\_body\_dinov3\_bf16.safetensors: SAM 3D Body 検出モデル (DINOv3 バックボーン)

> [card] [MoGe ジオメトリ](https://huggingface.co/Comfy-Org/MoGe/blob/main/geometry_estimation/moge_2_vitl_normal_fp16.safetensors)
>
> moge\_2\_vitl\_normal\_fp16.safetensors: オプション。位置合わせ用のカメラ FOV 推定

> [card] [RT-DETR 人物検出器](https://huggingface.co/Comfy-Org/SDPose/blob/main/diffusion_models/rt_detr_v4-x-hgnet_fp32.safetensors)
>
> rt\_detr\_v4-x-hgnet\_fp32.safetensors: RT-DETR 人物検出モデル

### モデルの保存場所

```
📂 ComfyUI/
├── 📂 models/
│   ├── 📂 checkpoints/
│   │      └── sam3.1_multiplex_fp16.safetensors
│   ├── 📂 detection/
│   │      └── sam_3d_body_dinov3_bf16.safetensors
│   ├── 📂 geometry_estimation/
│   │      └── moge_2_vitl_normal_fp16.safetensors
│   └── 📂 diffusion_models/
│          └── rt_detr_v4-x-hgnet_fp32.safetensors
```


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.