単一のスナップショットから、Meta の SAM 3D AI モデルを使って
オブジェクトトラッキング用の3Dモデルを素早く生成
します。
このチュートリアルでは、 SAM 3D の playground でジオメトリを作成するところから、Blender 用 GeoTracker で精密なオブジェクトトラッキングに使うまで 、ワークフロー全体を解説します。 既成の3Dモデルが手元にない場合に最適です。
このチュートリアルでは、 SAM 3D の playground でジオメトリを作成するところから、Blender 用 GeoTracker で精密なオブジェクトトラッキングに使うまで 、ワークフロー全体を解説します。 既成の3Dモデルが手元にない場合に最適です。
今回は、1枚のスクリーンショットから生成した3Dモデルを使って、Blender 用 GeoTracker で四輪バギーをトラッキングする方法を紹介します。 オブジェクトトラッキングでよくある課題は、「一致する3Dジオメトリが手元にない」ことです。そこで、Meta の SAM 3D（2D画像から3Dアセットを作れるプラットフォーム）を使って解決します。
SAM 3D で3Dモデルを作る
まず SAM 3D Playground に行き、Create 3D scenes を選びます。次に、素材映像から切り出したスクリーンショットをアップロードします。
より良い結果のために、斜め（3/4）から見えているフレームを選びましょう。これにより、AI が十分なパース情報を得られ、オブジェクトの複数の面をより正確に復元しやすくなります。
次に、バギーを背景から分離するためにマスクを作ります。Addボタンを押し、バギーをクリックして選択します。
もしマスクに地面などが混ざってしまったら、Removeツールで取り除きます。
（必要なら他のオブジェクトも追加できますが、今回は1つだけでOKです。）
マスクができたら Generate 3D をクリックして少し待ちます。ほどなく、バギーの3Dモデルが生成され、ダウンロードできるようになります。
ダウンロード形式は2種類あります（動画内では PLY と GLB が紹介されています）。Blender には GLB が扱いやすい、という流れです。
Blender に読み込み、GeoTracker 用に下準備
Blender を開き、デフォルトの Cube と Light を削除します。
次に GeoTracker を新規作成し、トラッキングしたいフッテージを読み込みます。
その後、生成したモデルを Blender にドラッグ＆ドロップしてImportします。
表示がスムーズシェーディングでなくても、トラッキング用途なら問題ありません。モデルにはテクスチャも付いてくるので、必要なら活用できます。
モデルのジオメトリが Empty に親子付け されていることがあります。動画では、回転モードが Quaternion になっているので、必要に応じて XYZ Euler に切り替える、という手順が入ります。
また、このワークフローを Nuke / After Effects に持っていく場合は、モデルを OBJ や FBX のような形式に変換する必要があります。
続いて、Relations（親子関係）で親子付けを解除し、Empty を削除します。メッシュ名を quad bike にして、GeoTracker に読み込みます。
さらに、トラッキングを高速化するために クリップ解析（Analyse） も行います。
GeoTracker で位置合わせ（Pin mode）
解析が終わったら Pin mode に入り、最初のフレームでバイクモデルを合わせていきます。
見ての通り、モデルは元のバイクに完璧一致ではありません。1枚画像からの生成なので想定内です。ただし、オブジェクトトラッキング用途としては十分機能します。
もし、表面やテクスチャ作業も含めてもっと精度が必要なら、モデルをリファインできます。スカルプトしたり、形状を調整したりしてください。
ジオメトリの微調整／不要部分のマスク（例：ホイール）
モデルのホイール位置がズレている場合、映像側のホイール回転と同期させるのは難しいので、
- ホイールを削除する
- もしくは、実トラッキング時に Surface mask でホイール部分を除外するという対応ができます。
Surface mask を作るには、バイクを選択して Edit Mode に入り、Face 選択でホイールのポリゴンを選択します。
それを Vertex Group に割り当てます（Object Data Properties 内）。
その後 Pin mode に戻り、Mask タブでその Vertex Group を選べばOKです。
最終トラッキングと結果チェック
モデルをいくつかの重要位置でピン留めし、Refine All を押して、手動キーフレーム間のアニメーションを計算させます。
トラッキングについてもっと知りたければ、GeoTracker for Blender のチュートリアル再生リストも見てください。ここから少し先送りします。
では Refine All を押して結果を確認します。
数フレームは手動で直したくなるはずです。キーフレームを追加し、スムージングを使い、必要なら微調整して「見た目が合う」まで詰めましょう。
これで良し。メッシュはかなり良くバイクに追従しています。フッテージ上にソリッド表示で重ねても確認できます。
1枚のフレームから生成した3Dモデルでも、ここまでできるのがポイントです。
この先は、CG要素を足したり、VFX を作り込んだりできます。
まず SAM 3D Playground に行き、Create 3D scenes を選びます。次に、素材映像から切り出したスクリーンショットをアップロードします。
より良い結果のために、斜め（3/4）から見えているフレームを選びましょう。これにより、AI が十分なパース情報を得られ、オブジェクトの複数の面をより正確に復元しやすくなります。
次に、バギーを背景から分離するためにマスクを作ります。Addボタンを押し、バギーをクリックして選択します。
もしマスクに地面などが混ざってしまったら、Removeツールで取り除きます。
（必要なら他のオブジェクトも追加できますが、今回は1つだけでOKです。）
もしマスクに地面などが混ざってしまったら、Removeツールで取り除きます。
（必要なら他のオブジェクトも追加できますが、今回は1つだけでOKです。）
マスクができたら Generate 3D をクリックして少し待ちます。ほどなく、バギーの3Dモデルが生成され、ダウンロードできるようになります。
ダウンロード形式は2種類あります（動画内では PLY と GLB が紹介されています）。Blender には GLB が扱いやすい、という流れです。
ダウンロード形式は2種類あります（動画内では PLY と GLB が紹介されています）。Blender には GLB が扱いやすい、という流れです。
Blender に読み込み、GeoTracker 用に下準備
Blender を開き、デフォルトの Cube と Light を削除します。
次に GeoTracker を新規作成し、トラッキングしたいフッテージを読み込みます。
その後、生成したモデルを Blender にドラッグ＆ドロップしてImportします。
表示がスムーズシェーディングでなくても、トラッキング用途なら問題ありません。モデルにはテクスチャも付いてくるので、必要なら活用できます。
モデルのジオメトリが Empty に親子付け されていることがあります。動画では、回転モードが Quaternion になっているので、必要に応じて XYZ Euler に切り替える、という手順が入ります。
また、このワークフローを Nuke / After Effects に持っていく場合は、モデルを OBJ や FBX のような形式に変換する必要があります。
続いて、Relations（親子関係）で親子付けを解除し、Empty を削除します。メッシュ名を quad bike にして、GeoTracker に読み込みます。
さらに、トラッキングを高速化するために クリップ解析（Analyse） も行います。
GeoTracker で位置合わせ（Pin mode）
解析が終わったら Pin mode に入り、最初のフレームでバイクモデルを合わせていきます。
見ての通り、モデルは元のバイクに完璧一致ではありません。1枚画像からの生成なので想定内です。ただし、オブジェクトトラッキング用途としては十分機能します。
もし、表面やテクスチャ作業も含めてもっと精度が必要なら、モデルをリファインできます。スカルプトしたり、形状を調整したりしてください。
ジオメトリの微調整／不要部分のマスク（例：ホイール）
モデルのホイール位置がズレている場合、映像側のホイール回転と同期させるのは難しいので、
- ホイールを削除する
- もしくは、実トラッキング時に Surface mask でホイール部分を除外するという対応ができます。
Surface mask を作るには、バイクを選択して Edit Mode に入り、Face 選択でホイールのポリゴンを選択します。
それを Vertex Group に割り当てます（Object Data Properties 内）。
その後 Pin mode に戻り、Mask タブでその Vertex Group を選べばOKです。
最終トラッキングと結果チェック
モデルをいくつかの重要位置でピン留めし、Refine All を押して、手動キーフレーム間のアニメーションを計算させます。
トラッキングについてもっと知りたければ、GeoTracker for Blender のチュートリアル再生リストも見てください。ここから少し先送りします。
では Refine All を押して結果を確認します。
数フレームは手動で直したくなるはずです。キーフレームを追加し、スムージングを使い、必要なら微調整して「見た目が合う」まで詰めましょう。
これで良し。メッシュはかなり良くバイクに追従しています。フッテージ上にソリッド表示で重ねても確認できます。
1枚のフレームから生成した3Dモデルでも、ここまでできるのがポイントです。
この先は、CG要素を足したり、VFX を作り込んだりできます。
Blender を開き、デフォルトの Cube と Light を削除します。
次に GeoTracker を新規作成し、トラッキングしたいフッテージを読み込みます。
次に GeoTracker を新規作成し、トラッキングしたいフッテージを読み込みます。
その後、生成したモデルを Blender にドラッグ＆ドロップしてImportします。
表示がスムーズシェーディングでなくても、トラッキング用途なら問題ありません。モデルにはテクスチャも付いてくるので、必要なら活用できます。
表示がスムーズシェーディングでなくても、トラッキング用途なら問題ありません。モデルにはテクスチャも付いてくるので、必要なら活用できます。
モデルのジオメトリが Empty に親子付け されていることがあります。動画では、回転モードが Quaternion になっているので、必要に応じて XYZ Euler に切り替える、という手順が入ります。
また、このワークフローを Nuke / After Effects に持っていく場合は、モデルを OBJ や FBX のような形式に変換する必要があります。
また、このワークフローを Nuke / After Effects に持っていく場合は、モデルを OBJ や FBX のような形式に変換する必要があります。
続いて、Relations（親子関係）で親子付けを解除し、Empty を削除します。メッシュ名を quad bike にして、GeoTracker に読み込みます。
さらに、トラッキングを高速化するために クリップ解析（Analyse） も行います。
さらに、トラッキングを高速化するために クリップ解析（Analyse） も行います。
GeoTracker で位置合わせ（Pin mode）
解析が終わったら Pin mode に入り、最初のフレームでバイクモデルを合わせていきます。
見ての通り、モデルは元のバイクに完璧一致ではありません。1枚画像からの生成なので想定内です。ただし、オブジェクトトラッキング用途としては十分機能します。
もし、表面やテクスチャ作業も含めてもっと精度が必要なら、モデルをリファインできます。スカルプトしたり、形状を調整したりしてください。
ジオメトリの微調整／不要部分のマスク（例：ホイール）
モデルのホイール位置がズレている場合、映像側のホイール回転と同期させるのは難しいので、
- ホイールを削除する
- もしくは、実トラッキング時に Surface mask でホイール部分を除外するという対応ができます。
Surface mask を作るには、バイクを選択して Edit Mode に入り、Face 選択でホイールのポリゴンを選択します。
それを Vertex Group に割り当てます（Object Data Properties 内）。
その後 Pin mode に戻り、Mask タブでその Vertex Group を選べばOKです。
最終トラッキングと結果チェック
モデルをいくつかの重要位置でピン留めし、Refine All を押して、手動キーフレーム間のアニメーションを計算させます。
トラッキングについてもっと知りたければ、GeoTracker for Blender のチュートリアル再生リストも見てください。ここから少し先送りします。
では Refine All を押して結果を確認します。
数フレームは手動で直したくなるはずです。キーフレームを追加し、スムージングを使い、必要なら微調整して「見た目が合う」まで詰めましょう。
これで良し。メッシュはかなり良くバイクに追従しています。フッテージ上にソリッド表示で重ねても確認できます。
1枚のフレームから生成した3Dモデルでも、ここまでできるのがポイントです。
この先は、CG要素を足したり、VFX を作り込んだりできます。
解析が終わったら Pin mode に入り、最初のフレームでバイクモデルを合わせていきます。
見ての通り、モデルは元のバイクに完璧一致ではありません。1枚画像からの生成なので想定内です。ただし、オブジェクトトラッキング用途としては十分機能します。
もし、表面やテクスチャ作業も含めてもっと精度が必要なら、モデルをリファインできます。スカルプトしたり、形状を調整したりしてください。
もし、表面やテクスチャ作業も含めてもっと精度が必要なら、モデルをリファインできます。スカルプトしたり、形状を調整したりしてください。
ジオメトリの微調整／不要部分のマスク（例：ホイール）
モデルのホイール位置がズレている場合、映像側のホイール回転と同期させるのは難しいので、
- ホイールを削除する
- もしくは、実トラッキング時に Surface mask でホイール部分を除外するという対応ができます。
Surface mask を作るには、バイクを選択して Edit Mode に入り、Face 選択でホイールのポリゴンを選択します。
それを Vertex Group に割り当てます（Object Data Properties 内）。
その後 Pin mode に戻り、Mask タブでその Vertex Group を選べばOKです。
最終トラッキングと結果チェック
モデルをいくつかの重要位置でピン留めし、Refine All を押して、手動キーフレーム間のアニメーションを計算させます。
トラッキングについてもっと知りたければ、GeoTracker for Blender のチュートリアル再生リストも見てください。ここから少し先送りします。
では Refine All を押して結果を確認します。
数フレームは手動で直したくなるはずです。キーフレームを追加し、スムージングを使い、必要なら微調整して「見た目が合う」まで詰めましょう。
これで良し。メッシュはかなり良くバイクに追従しています。フッテージ上にソリッド表示で重ねても確認できます。
1枚のフレームから生成した3Dモデルでも、ここまでできるのがポイントです。
この先は、CG要素を足したり、VFX を作り込んだりできます。
モデルのホイール位置がズレている場合、映像側のホイール回転と同期させるのは難しいので、
それを Vertex Group に割り当てます（Object Data Properties 内）。
その後 Pin mode に戻り、Mask タブでその Vertex Group を選べばOKです。
- ホイールを削除する
- もしくは、実トラッキング時に Surface mask でホイール部分を除外するという対応ができます。
それを Vertex Group に割り当てます（Object Data Properties 内）。
その後 Pin mode に戻り、Mask タブでその Vertex Group を選べばOKです。
最終トラッキングと結果チェック
モデルをいくつかの重要位置でピン留めし、Refine All を押して、手動キーフレーム間のアニメーションを計算させます。
トラッキングについてもっと知りたければ、GeoTracker for Blender のチュートリアル再生リストも見てください。ここから少し先送りします。
では Refine All を押して結果を確認します。
数フレームは手動で直したくなるはずです。キーフレームを追加し、スムージングを使い、必要なら微調整して「見た目が合う」まで詰めましょう。
これで良し。メッシュはかなり良くバイクに追従しています。フッテージ上にソリッド表示で重ねても確認できます。
1枚のフレームから生成した3Dモデルでも、ここまでできるのがポイントです。
この先は、CG要素を足したり、VFX を作り込んだりできます。
モデルをいくつかの重要位置でピン留めし、Refine All を押して、手動キーフレーム間のアニメーションを計算させます。
トラッキングについてもっと知りたければ、GeoTracker for Blender のチュートリアル再生リストも見てください。ここから少し先送りします。
トラッキングについてもっと知りたければ、GeoTracker for Blender のチュートリアル再生リストも見てください。ここから少し先送りします。
では Refine All を押して結果を確認します。
数フレームは手動で直したくなるはずです。キーフレームを追加し、スムージングを使い、必要なら微調整して「見た目が合う」まで詰めましょう。
数フレームは手動で直したくなるはずです。キーフレームを追加し、スムージングを使い、必要なら微調整して「見た目が合う」まで詰めましょう。
これで良し。メッシュはかなり良くバイクに追従しています。フッテージ上にソリッド表示で重ねても確認できます。
1枚のフレームから生成した3Dモデルでも、ここまでできるのがポイントです。
この先は、CG要素を足したり、VFX を作り込んだりできます。
1枚のフレームから生成した3Dモデルでも、ここまでできるのがポイントです。
この先は、CG要素を足したり、VFX を作り込んだりできます。
