たった1枚の画像から、人の全身（体・手・足）の3Dメッシュを高精度に復元する ― それが SAM 3D Body です。あの「Segment Anything（SAM）」の系譜に連なる、人体版のSAMファミリーで、Meta Superintelligence Labs が発表しました（CVPR 2026 Oral、arXiv:2602.15989）。モデル・コード・データセットがオープンソースで公開されているのが大きな特徴です。
本記事は、当社の論文調査・先端技術の「手の内化」の一環として、このモデルを読み解き、実際に自分たちの環境で動かして再現した記録です。オープンソースなので、当社では公式モデルをそのまま動かして検証できました。あわせて、当社が注目する理由 ―「人の動きを、そのままロボットの教師データにできないか」― にも触れます。
デモ映像
SAM 3D Body とは ― 「1枚の画像」から全身の3Dへ
やっていることは明快です。1枚の写真を入力すると、その人の全身の3Dメッシュ（体・手・足）を出力する。特徴は次の点にあります。
- SAMファミリーの人体版 ― 「Segment Anything」と同じ発想で、2Dキーポイントやマスクを“プロンプト”として与えてユーザーが誘導できます。
- 実世界（in-the-wild）で頑健 ― 遮蔽（隠れ）・難しいポーズ・極端な視点に強い。
- 高精度（SOTA） ― 主要ベンチマークで、CameraHMR・NLF・HMR2.0 といった既存手法を、定量・定性の両面で上回ります。
- オープンソース ― モデル・コード・データセットが公開され、誰でも再現・活用できます。
従来の課題と、新しい表現「MHR」
写真から人体を3D化する技術（HMR: Human Mesh Recovery）は、これまで SMPL / SMPL-X 系のパラメトリックな人体モデルに依存してきました。しかし、骨格の構造と体の表面形状が“密に結合”しているため、精度や解釈性に制約があり、遮蔽・稀なポーズ・極端な視点では破綻しやすいという弱点がありました。
SAM 3D Body は、新しいメッシュ表現 MHR（Momentum Human Rig） を採用し、骨格（skeleton）と表面形状（surface shape）を分離（デカップリング）します。これにより、
- 精度が向上 ― 骨格ポーズと体型を独立に最適化できる。
- 解釈性が高い ― どのパラメータが何に効くかが明確。
- 手・足も統一的に扱える ― 体・手・足を一つの表現でまとめて復元できる。
という利点が得られます（MHR 自体もオープンソース化されています）。
しくみ ― エンコーダ＋プロンプト可能なデコーダ
構成は、画像から特徴を取り出すエンコーダと、その特徴からメッシュのパラメータを推定するデコーダに分かれます。
- エンコーダ ― 視覚基盤モデル（DINOv3 系や ViT-H）をバックボーンに、画像をパッチ特徴に変換します。
- プロンプト可能なデコーダ ― SAM 流に、2Dキーポイントやマスクを埋め込んで誘導。ポーズ用のトークンでメッシュとカメラのパラメータを反復的に推定し、専用のハンドデコーダで手の推定を精緻化します。カメラの画角（FOV）も条件に取り込みます。
この「プロンプトで人がヒントを与えられる」設計が、難しいシーンでの頑健さにつながっています。
当社で動かす ― 難ポーズでも全身を復元
オープンソースなので、当社では公式のデモをそのまま実行しました。コンシューマGPU 1枚で、公式のサンプル画像4枚（アメフト・乗馬・ヨガ・ウェイクボード）を入力に、全身メッシュの復元を確認しています。処理時間は 1枚あたり平均およそ22秒（初回はモデルのダウンロードと大きなチェックポイントの読み込みで時間が増えます）。
このように「倒れ込み・遮蔽・空中で逆さ」といった、従来手法が苦手とするシーンでも、当社環境で安定して全身の3D姿勢を復元できました。ヨガのような極端に柔軟なポーズでも同様に復元できています。「読む → 動かす → 手応えを確かめる」まで一通りやり切る ― これが当社の言う技術の「手の内化」です。
なぜ当社が追うのか ― 人の動きを、ロボットの教師データに
当社がこの技術に注目する理由は、ロボットにあります。ロボットに新しい作業を教える有力な方法が、人のお手本を見せて覚えさせること（模倣学習）です。そのためには、人がどう動き、どう手を使ったかを、精度よく3Dデータにする必要があります。
SAM 3D Body のように、特別な機材もマーカーもなく、1枚の写真から全身（手を含む）の3D姿勢を復元できる技術は、まさにこの「人の動きを、扱いやすい3Dデータに変える」部分に効く可能性があります。実際、当社が別途取り組んでいるマーカーレス・モーションキャプチャの検証（MAMMA）でも、姿勢の3D復元にこのモデルを活用しています。人のデモンストレーションを、そのままロボットの教師データに近づけられるかもしれない ― そんな観点で、本モデルを調査・検証しています。
まとめ
- 写真1枚から全身（体・手・足）を3D復元 ― SAMファミリーの人体版。プロンプトで誘導でき、in-the-wild で頑健。
- 新表現 MHR ― 骨格と形状を分離し、精度と解釈性を両立。
- 当社で再現 ― オープンソースの公式モデルをコンシューマGPU 1枚で実行し、難ポーズ・遮蔽・空中逆さの復元を確認（1枚 約22秒）。
- 狙いは“人の動き → ロボットの教師データ” ― マーカーなしで人のお手本を3D化し、ロボットの学習に活かす道を探っています。
参考: SAM 3D Body（Robust Full-Body Human Mesh Recovery）, CVPR 2026 Oral（Meta Superintelligence Labs、arXiv:2602.15989、github.com/facebookresearch/sam-3d-body）。本記事は当社による論文調査・再現実装の記録であり、図は公式サンプル画像に対する当社環境での再現出力です。