「昨日テーブルにあったボトル、いまどこ?」――こんな問いに答えるには、空間をいまどうなっているかだけでなく、時間をさかのぼって思い出せる必要があります。STREAM4D は、空間の3Dマップに“時間軸”を持たせる取り組みです。
360°カメラと LiDAR で環境を巡回するだけで、物体単位の3Dマップに時刻情報が積み重なった「4Dセマンティックマップ」が蓄積されます。あとは LLM を通して、「いつ・何が・どこに・どう変わったか」を自然言語で問い合わせ、特定した物体へそのままロボットを向かわせるところまでをひとつながりで扱います。
※ STREAM4D は現在研究開発段階のテーマです。本記事では、その狙いと仕組みの全体像をご紹介します。
なぜ「時間軸」なのか
従来の3Dセマンティックマップは、いわば「ある時点のスナップショット」でした。空間に何があるかは分かっても、物体の移動・出現・消失の履歴が残りません。そのため「昨日は机の上にあった」「先週から動いた」といった、過去の状態を自然言語で問い合わせることが難しく、まして「無くなった物」については答える手段そのものがありませんでした。
現場で動くロボットや見守りの用途では、「いま」だけでなく「さっき・昨日・先週」を扱えることが効いてきます。STREAM4D は、この「時間軸を持った空間理解」を正面から扱います。
STREAM4D の考え方
やることはシンプルです。360°カメラ + LiDAR を載せて環境を巡回すると、SLAM で3D地図を作りながら、物体単位で存在・位置・形状を時刻つきに記録していきます。こうして、3Dマップに時間軸が加わった 4Dセマンティックマップが育っていきます。
蓄積されたマップには、LLM 経由で自然言語のまま問い合わせできます。「机の上にあるものは?」「先週から動いた家具は?」といった問いを、そのまま投げれば答えが返る――専用のクエリー言語も座標指定も要りません。
5つの特徴
STREAM4D の中身は、大きく5つの機能で構成されます。
- ① 時空間変化の記録・参照 ― 物体の存在・位置・形状を時刻つきで更新し続けます。今だけでなく過去の任意の時刻・区間にも質問でき、消えた物体の情報も保持するので「無くなった物」にも答えられます。
- ② 空間的位置関係の参照 ― 3Dマップ上の幾何計算で、上下・距離・物体間・左右・並び順・大きさを判定します。「ドアに一番近い椅子の隣」といった間接的な参照も可能です。（例：「机の上にあるものは?」→「ボトルです」）
- ③ 時間変化の参照 ― 出現・移動・消失を時刻つきで記録し、「何が・いつ・どのくらい動いたか」に即答します。（例：「椅子が 16:55 に移動したのを観測しました」）
- ④ 巨大コンテキストの LLM ハンドリング（研究の核） ― マップが育つほど、LLM に渡すべき文脈は膨れ上がります。STREAM4D は、マップが成長しても自然言語クエリーを安定して処理する独自手法を中核に据えています。※手法の詳細は研究段階につき非公開です。
- ⑤ パスプランニングとナビゲーション ― クエリーで特定した物体が、そのまま移動目標になります。参照とナビゲーションが分断されないため、座標を指定し直す必要がありません。（例：「赤い椅子の近くへ行って」）
とくに ④ が STREAM4D の技術的な核心です。マップが大きく育っても問い合わせが破綻しないこと――ここが「巡回するだけで貯まり続ける」設計を成り立たせています。
システム構成
STREAM4D は、センシングから走行まで5つのモジュールが一本の流れでつながっています。
- ① INPUT（360° + LiDAR） ― 環境を巡回し、全方位の映像と距離を取得します。
- ② SLAM（3D地図） ― 自己位置を推定しながら、空間の3D地図を構築します。
- ③ MAP（SemanticMapper） ― 検出した物体を、存在・位置・形状とともに時刻つきで地図に書き込みます。ここで“4D”になります。
- ④ QUERY（LLM Planner） ― 自然言語の問いを解釈し、4Dマップへの参照に変換して答えを組み立てます。
- ⑤ NAV（RouteNavigator） ― 問いで特定された物体を目標に、そこへ至る経路を生成します。
つまり STREAM4D は、空間を「記録」し、時間を「遡り」、ことばで「引き出し」、そこへロボットを「向かわせる」システムです。
マップは、見て確かめられる
構築中の4Dマップ、検出された物体、位置関係の判定結果は、専用の Web クライアント上で確認できます。ことばで返ってきた答えの“根拠”が、そのまま画面で見えるようにしています。
使いどころ
STREAM4D の「“いつ”を扱える」という性質は、そのまま使いどころになります。従来の3Dマップとの違いで並べると分かりやすくなります。
① 見守り・巡回記録
「昨日の巡回から今日までに無くなった物は?」
従来：最新スナップショットのみ。消えた物体は追えない
STREAM4D：出現・消失を時刻つきで記録・参照
② 物探し
「私のボトルはどこ? いつからそこにある?」
従来：今どこにあるかしか分からない
STREAM4D：位置と存在期間を時系列で回答
③ レイアウト変化の監査
「先週から動いた家具を全部教えて」
従来：差分比較を人手で行う必要がある
STREAM4D：移動・配置変更を時刻つきで即答
④ ロボットナビゲーション
「赤い椅子の近くまで行って」
従来：参照とナビが別。座標指定が必要
STREAM4D：ことばで指した物体へそのまま走行
ロボットへの応用
STREAM4D がロボットに効くのは、参照とナビゲーションが地続きだからです。現場のロボットは、「さっきまであった物」「昨日と変わった場所」を踏まえて動く必要があります。ことばで指した物体がそのまま移動目標になれば、「赤い椅子の近くまで行って」のような曖昧な指示で走り出せます。
空間を時間軸で理解し、ことばで引き出し、そこへ向かう――STREAM4D は、ロボットに空間の記憶と時間感覚をあたえる基盤技術として位置づけています。
まとめ
- 3Dマップに“時間軸”を ― 巡回するだけで、物体単位の4Dセマンティックマップが蓄積される。
- “いつ”を含む問いに答える ― 過去の任意の時刻・区間、出現・移動・消失、存在期間まで自然言語で。
- 見て確かめられる ― 答えの根拠を Web クライアント上で確認できる。
- そのまま走る ― ことばで特定した物体が移動目標になり、ナビゲーションまで地続き。
STREAM4D は、空間を「記録」し、時間を「遡り」、ことばで「引き出し」、そこへロボットを「向かわせる」当社の研究テーマです。共同研究・技術相談を承っています。