スーツも、体に貼るマーカーも使わない。複数のカメラで撮った映像だけから、複数の人が接触しながら動く様子を、手の指先まで含めて3Dで復元する ― それが MAMMA（Markerless Accurate Multi-person Motion Acquisition） です。CVPR 2026 の Oral 論文（Max Planck Institute for Intelligent Systems / CMU、arXiv:2506.13040）で、多視点動画から人体パラメータ SMPL-X（全身＋手・表情まで表せる標準的な人体モデル）を高精度に復元します。
本記事は、当社の論文調査・先端技術の「手の内化」の一環として、この論文を読み解き、実際に自分たちの環境で動かして再現した記録です。あわせて、当社がこの技術に注目する理由 ―「人の動きを、そのままロボットの教師データにできないか」― にも触れます。
デモ映像
マーカーなしで、複数人の動きを丸ごと捉える
人の動きをデータにする「モーションキャプチャ」には、大きな課題がありました。
- マーカー式は高精度だが、高コスト ― 専用スタジオ・全身スーツ・マーカー・後処理に多大な手間と費用がかかります。
- 学習ベースは単一人物向けが多い ― 近年の映像からの推定手法は、多くが一人向け。疎なキーポイント（関節点など）に頼るため、人同士の接触や遮蔽（隠れ）に弱いという弱点があります。
- 多人数の密な相互作用は未解決 ― 複数人が触れ合いながら動くシーンを、正確に捉えるのは難問でした。
MAMMA は、多視点映像だけから、複数人が接触・遮蔽をともなって動くシーンでも、全身（手を含む）の3Dモデル（SMPL-X）を復元することを目指します。
MAMMA のキモ ― 接触を考慮した「密な表面ランドマーク」
MAMMA の新しさは、関節のような疎な点ではなく、体の表面に沿った“密な”2Dランドマークを、接触を考慮して予測する点にあります。
- 人物ごとに条件付け ― セグメンテーションマスクで「どの人か」を指定し、その人に固有のランドマークを予測します。
- ランドマークごとの学習可能クエリ ― 各ランドマークに専用の「問い合わせ（クエリ）」を持たせる新しいアーキテクチャにより、重い遮蔽の下でも、人物ごとの対応付けが崩れにくくなっています。
- 大規模な合成データで学習 ― 極端な姿勢・手の動き・密な接触を網羅し、SMPL-X の正解と密な2Dランドマークを付与した、大規模な合成データセットで学習しています。
処理の流れは、多視点映像の読み込み → 人物セグメンテーション → 密な2Dランドマーク推定 → 多視点でのSMPL-X最適化 → 可視化、という段階に分かれています。
当社で動かす ― 再現と「手の内化」
論文を読むだけでは、本当に動くか・どこまで使えるかは分かりません。そこで当社では、この処理を自前の環境で再構成し、実際に動かして確認しました。4台のカメラで撮ったデモ映像を入力に、コンシューマGPU 1枚で実行しています。
前半パイプラインは再現に成功 ― 多視点映像の読み込みとカメラキャリブレーションを終え、YOLO + SAM2 によって4台のカメラすべてで人物マスクを正しく生成できました。
一方で、正直な「詰まりどころ」もありました。密な2Dランドマーク推定に使う学習済みモデルと、3D最適化に使う人体ボディモデルは、いずれもアカウント登録制で配布されており、今回はその取得前だったため、公式パイプラインでの3D復元は保留としました。
そこで、公開されているモデルで代替して、姿勢の3D復元まで実証しました。
続いて、単一画像から全身の人体メッシュを復元するモデル SAM 3D Body を用い、「人物検出 → 2D姿勢 → 3Dメッシュ」の順に出力して、デモ映像に映る2人を3Dで復元しました。
「読む → 動かす → どこで詰まるかまで確かめる」ことで、論文の主張がどこまで実用に効くかを、自分たちの目盛りで測れるようになります。これが当社の言う技術の 「手の内化」 です。
なぜ当社が追うのか ― 人の動きを、ロボットの教師データに
当社がこの技術に注目する理由は、ロボットにあります。ロボットに新しい作業を教える有力な方法のひとつが、人のお手本を見せて覚えさせること（模倣学習）です。そのためには、人がどう動き、どう手を使い、モノにどう触れたかを、精度よくデータ化する必要があります。
MAMMA のような マーカーレスで・複数人の・手を含む全身の・接触までとらえるモーションキャプチャは、まさにこの「人の動きを構造化された3Dデータに変える」部分に効く可能性があります。スーツやマーカーなしで、日常に近い動きを丸ごと3D化できれば、人のデモンストレーションを、そのままロボットの教師データに近づけられるかもしれません ― そんな観点で、当社は本手法を調査・検証しています。
まとめ
- マーカーレスで多人数の全身3D ― 多視点映像だけから、接触・遮蔽をともなう複数人の SMPL-X（全身＋手）を復元。
- キモは“接触考慮の密な表面ランドマーク” ― 人物ごとに条件付けし、重い遮蔽でも対応付けが崩れにくい。
- 当社で再現 ― 前半パイプライン（多視点読み込み＋人物セグメンテーション）を再現。公式の2D/3Dモデルは取得制のため、DINOv3・SAM 3D Body で姿勢の3D復元まで実証（4K1枚 約3〜4秒・コンシューマGPU 1枚）。
- 狙いは“人の動き → ロボットの教師データ” ― マーカーなしで人のお手本を3D化し、ロボットの学習に活かす道を探っています。
参考: MAMMA（Markerless Accurate Multi-person Motion Acquisition）, CVPR 2026 Oral（Max Planck Institute for Intelligent Systems / Carnegie Mellon University、arXiv:2506.13040）。本記事は当社による論文調査・再現実装の記録であり、図は当社環境での再現出力です。