動画の中の「同じ1点」を、最初のフレームから最後まで追い続ける ― これがポイント追跡（Point Tracking）です。ロボットが物をつかむ、カメラの動きから3次元を復元する、動作を解析する ― こうした処理の土台になる基礎技術ですが、遮蔽（隠れ）・高速な動き・見た目の変化をまたいで“同じ点”を追い続けるのは簡単ではありません。
本記事は、当社の論文調査・先端技術の「手の内化」の一環として、CVPR 2026 の論文 Track-On-R（Görkay Aydemir, Fatma Güney, Weidi Xie／arXiv:2603.12217）を読み解き、実際に自分たちの環境で動かして再現した記録です。この論文のキモは、「複数の教師モデルのうち、どれをどのフレームで信じるか」を学習する Verifier（検証器） という発想にあります。
デモ映像
そもそも「ポイント追跡」とは、なぜ難しいのか
ポイント追跡は、動画の中で指定した点（例: 対象物の角、手のひらの1点）が、その後のフレームでどこへ動いたかを追い続けるタスクです。物体全体を四角い枠で囲う一般的な物体追跡と違い、面ではなく点を、しかも隠れている間も含めて追うのが特徴です。
これがうまくいけば、ロボット操作・映像解析・3D復元などに直接効いてきます。しかし、大きな壁があります。
- 学習データが「合成」に偏る ― 点の正確な軌跡（どのフレームでどこにあるか）を人手でつけるのは実質不可能なので、モデルは主に合成データ（CGで正解が自動生成できる）で学習されます。
- 実世界で精度が落ちる（Sim-to-Real ギャップ） ― 合成で学んだモデルを実写に持ち込むと、照明・質感・ブレの違いで性能が低下します。
- 実写には「正解ラベル」がない ― では実写で追加学習しようにも、密な軌跡の正解が存在しません。
そこで有効なのが、モデル自身の予測を仮の正解（疑似ラベル）として学習する自己学習です。ただし従来は1つの教師モデルの予測をそのまま正解扱いしていたため、その教師が間違えたフレームの誤差がそのまま伝播し、適応が不安定になっていました。教師モデルの信頼性は、シーンやフレームごとに変動するからです。
Track-On-R のキモ ― 「Verifier ガイド疑似ラベル」
Track-On-R のアイデアは明快です。「1つの教師に頼らず、複数の教師を用意して、フレームごとに一番良い予測を選ぶ」。この“選ぶ”役割を担うのが Verifier です。
- 複数の教師で候補を作る ― 既存の高性能トラッカー数種（CoTracker3・BootsTAPIR・AllTracker など）に、それぞれ同じ動画を追跡させ、候補となる軌跡を複数生成します。
- Verifier がフレームごとに最良を選ぶ ― どの教師の予測がそのフレームで最も信頼できるかを、Verifier が採点して選びます（従来法は教師を固定 or ランダムに選んでいた）。
- 高品質な疑似ラベルを作る ― フレーム単位で選ばれた“いいとこ取り”の軌跡を、実世界動画の疑似正解として構築します。
- 生徒モデルを実世界向けに鍛える ― この疑似ラベルで生徒トラッカー（Student）をファインチューニングし、実世界に適応させます。
面白いのは、Verifier 自体は合成データの正解だけで学習できる点です。正解軌跡にわざと摂動（ずれ）を加えて候補を作り、「正解に近い候補ほど高信頼」と学ばせておけば、推論時には6種類の教師の予測を候補として与え、フレームごとに最良を選ぶメタモデルとして働きます。「隠れているか（可視性）」は教師たちの多数決で決めます。
つまり Verifier は、個々のトラッカーを作り直すのではなく、既存トラッカー群の“審判”を1つ足すだけで、実世界への適応を底上げする、という発想です。
結果 ― 4つの実世界ベンチマークで最高精度
論文では、実世界の4つのベンチマークで評価しています。Track-On-R は、ベースとなった Track-On2 や CoTracker3・AllTracker を一貫して上回り、特にエゴセントリック（一人称視点）の EgoPoints で大きく改善しました。
| モデル | DAVIS | Kinetics | RoboTAP | EgoPoints |
|---|---|---|---|---|
| Track-On-R | 80.3 / 92.5 | 71.0 / 90.5 | 82.6 / 94.0 | 67.3 / 90.2 |
| Track-On2 | 79.9 / 92.0 | 69.3 / 89.6 | 80.5 / 93.4 | 61.7 / 89.9 |
| CoTracker3 | 76.3 / 90.2 | 68.5 / 88.3 | 78.8 / 90.8 | 54.0 / 84.4 |
| AllTracker | 77.0 / 88.7 | 69.3 / 89.1 | 80.9 / 92.2 | 62.0 / 87.1 |
数値は「位置精度（δ_avg、高いほど良い）／ 可視性の正解率（OA）」。出典: Aydemir et al., CVPR 2026。
ポイントは、ラベルのない実世界動画に、教師の“いいとこ取り”だけで適応できたこと。従来の自己学習より少ないデータで効率よく精度を上げられることも示されています。
当社で動かす ― DINOv3 バックボーンで再現（手の内化）
論文を読むだけでは、本当に動くか・自分たちの用途に効くかは分かりません。そこで当社では、この追跡パイプラインを自前の環境で再構成し、実際に動かして確認しました。バックボーンには、近年強力な自己教師あり視覚モデル DINOv3（ViT-S/16 系） を採用しています。
- 実写の難シーンで動作確認 ― 高速に跳ぶモトクロス、水中の遊泳、砕ける波など、ブレ・水中の歪み・遮蔽を含む実写動画で、格子状に置いた点が対象を追い続けることを確認しました。
- 1枚の GPU でほぼリアルタイム ― コンシューマ向け GPU 1枚で、波動画6本の平均 約 16.8 FPS。シーンに応じて可視性 0.67〜0.99 と、妥当な範囲で安定しました。
- バックボーンを差し替えても動く ― DINOv2／DINOv3 の両バックボーンで動作を確認し、手法が特定の構成に依存しすぎないことを実感しました。
こうして「読む → 動かす → 手応えを確かめる」までを一通りやり切ることで、論文の主張がどこまで実用に効くかを自分たちの目盛りで測れるようになります。これが当社の言う 技術の「手の内化」 です。
まとめ
- Verifier という審判を1つ足す ― 複数の教師トラッカーの予測を、フレームごとに見極めて“いいとこ取り”する。
- ラベルのない実世界に適応 ― Verifier ガイドの疑似ラベルで、正解のない実写動画へ自己学習で適応できる。
- 4つの実世界ベンチマークで最高精度 ― 従来の自己学習よりデータ効率よく、SOTA を達成。
- 当社で再現済み ― DINOv3 バックボーンで実装し、実写の難シーンをほぼリアルタイム（GPU 1枚・約 16.8 FPS）で追跡できることを確認。
ポイント追跡は、ロボットが実世界で“同じ場所”を見失わずに作業するための基盤技術です。当社は、こうした先端研究を継続的に調査し、自分たちの手で動かして検証（手の内化）することで、ロボティクスの現場に効く技術を見極めていきます。
参考: Görkay Aydemir, Fatma Güney, Weidi Xie, "Track-On-R: Real-World Point Tracking with Verifier-Guided Pseudo-Labeling," CVPR 2026（arXiv:2603.12217 ／ プロジェクトページ: kuis-ai.github.io/track_on_r/）。本記事は当社による論文調査・再現実装の記録であり、図表・数値の一部は上記論文に基づきます。