動画を“あとでまとめて要約する”のではなく、流れてくる映像を逐次的に理解し、「いつ・何が・どの順で起きたか」を準リアルタイムに読み取る ― それが当社のストリーミング時系列理解エンジン KAIROS です。
名前の KAIROS（καιρός）は、ギリシャ語で「決定的瞬間・機を捉える」という意味。“いつ起きたか”を理解し、“いつ答えるべきか”を自ら判断する、という思想を表しています。単一GPU・学習追加なしで動き、世界標準の動画ベンチマークで公開8Bクラス最高帯の精度を確認しました。
デモ映像
なぜ「時系列の意味理解」なのか
動画理解の主戦場は、いま「要約」から「時系列理解」へ移っています。「何が映っているか」だけでなく、いつ・何が・どの順で起きたか（イベント・状態変化・因果・回数）を捉えることが求められます。
とりわけロボットのような物理AIエージェントでは、“準リアルタイム”性が要件になります。全映像を毎回まとめて処理するのではなく、カメラから流れてくるストリームを、その場で逐次理解し続ける必要があるからです。KAIROS は、この「ストリーミングでの時系列意味理解」を正面から扱います。
KAIROS でできること
KAIROS は、映像ストリームと「問い」＋「時刻」を渡すと、その時点までに見えた範囲で回答します。できることは大きく3つです。
- 実時間の知覚 ― 「いま何が映っているか」を即座に読み取る（文字・属性・行動・物体・空間など）
- 過去の遡及想起 ― 「さっき何が起きたか」を、長時間の記憶から思い出して答える
- 先読み・応答判断 ― まだ証拠が足りなければ即答せず「待つ」、揃った瞬間に答える
3つ目が KAIROS の思想を最もよく表しています。「答えられるだけの根拠がまだ映っていない」と判断したら、あえて答えを保留する ― “機を待つ”わけです。
システム構成
KAIROS は、映像ストリームを因果順に取り込み、時系列の文脈を構成し、記憶を保ちながら、応答すべきタイミングを判断して意味を出力します。
- ① Stream Ingest ― カメラ／動画を因果順に取り込みます（未来のフレームを先読みしない、ストリーミング保証）。
- ② Temporal Perceptor ― 問いに応じて時系列の文脈を構成する中核。内部設計は非公開です。
- ③ Event Memory ― 長時間の出来事を要約して保持し、過去の質問に応答します。
- ④ Response Governor ― 証拠が揃うまで待ち、答えるべき瞬間を判断します。
- ⑤ 視覚言語理解コア ― 構成された文脈から、最終的な意味を抽出します。
リアルタイム性（実測）
単一GPU（24GB）・バッチ1で、OVO-Bench の全3,035クエリを実測しました。
- リアルタイム知覚の応答は中央値 0.32 秒（p95 でも 0.58 秒＝サブ秒）
- 全タスクの応答中央値は 0.63 秒、スループットは 2.7 クエリ/秒
評価結果 ― OVO-Bench（CVPR2025）
評価は、世界標準のオンライン動画ベンチマーク OVO-Bench（3カテゴリ×12タスク・約3,000問）で行いました。過去の遡及／実時間の知覚／先読み応答という、時系列理解の3側面を測るものです。
| カテゴリ | タスク | 内容 | 正解率 |
|---|---|---|---|
| 実時間 | OCR | 文字認識 | 92.6% |
| 実時間 | ACR | 属性認識 | 87.2% |
| 実時間 | ATR | 行動認識 | 82.8% |
| 実時間 | STU | 空間理解 | 71.4% |
| 実時間 | FPD | 未来予測 | 74.3% |
| 実時間 | OJR | 物体推論 | 83.7% |
| 過去遡及 | EPM | エピソード記憶 | 54.5% |
| 過去遡及 | ASI | 行動順序の同定 | 64.2% |
| 過去遡及 | HLD | 幻覚検出／棄権 | 68.8% |
| 先読み | REC | 反復回数カウント | 43.5% |
| 先読み | SSR | 手順ステップ認識 | 69.6% |
| 先読み | CRR | 証拠充足の判定 | 53.8% |
総合は 66.7%。参照SOTA（67.7%）に肉薄する水準で、学習追加なしの構成としては最高帯です。とくに実時間・過去遡及のカテゴリでは、確認できた公開8Bクラス最高値を上回りました。
動作サンプル（実映像・実出力）
3カテゴリを網羅する8つのサンプルで、KAIROS の実際の出力を確認しています（映像はOVO-Benchの実データ、判定は自動採点）。
| # | カテゴリ | 問い（要約） | KAIROS の出力 | 判定 |
|---|---|---|---|---|
| 1 | 実時間・行動認識 | 構造物の周囲の地面は何でできている？ | Grass and soil.（草と土） | ✓ 正解 |
| 2 | 実時間・文字認識 | 4番の馬の最終オッズは？ | 5 | ✓ 正解 |
| 3 | 実時間・物体推論 | 犬は何頭映っている？ | Three dogs（3頭） | ✓ 正解 |
| 4 | 過去遡及・記憶 | ドリル作業の前、レンチはどこにあった？ | under the table（テーブルの下） | ✓ 正解 |
| 5 | 過去遡及・順序 | ある行動の直前に何をした？ | キャベツを四つ割りにし芯を取る | ✓ 正解 |
| 6 | 先読み・手順 | いま指定の手順を実行しているか？ | No（今は別の作業） | ✓ 正解 |
| 7 | 先読み・証拠充足 | 今、答えられるだけの証拠は出たか？ | No（＝まだ待つ） | ✓ 正解 |
| 8 | 先読み・回数 | その動作は累計何回行われた？ | 2（2回） | ✓ 正解 |
注目は 7番です。「まだ答えるだけの根拠は出ていない」と判断して、あえて即答せず“待つ” ― これが KAIROS の「機を捉える」思想の実演です。
ロボットへの応用
KAIROS がロボットに効くポイントは、まさにこの「いつ答えるべきかを自ら判断する」設計にあります。現場で動くロボットは、カメラ映像を止めずに流し込みながら、「いま何が起きたか」を掴み、「さっきの状態」を覚え、そして確信が持てるまで早まって動かない、という振る舞いが求められます。
KAIROS の「実時間知覚 ＋ 長期記憶 ＋ 応答タイミング判断」は、この要件にそのまま対応します。ロボットが周囲の状況を時間軸で理解し、機を捉えて動くための、目と時間感覚をあたえる基盤技術として位置づけています。
まとめ
- ストリーミングで映像の“意味”を理解 ― いつ・何が・どの順で起きたかを、準リアルタイムに読み取る。
- 3つの力 ― 実時間の知覚／過去の遡及想起／“機を待つ”先読み応答。
- 確かな性能 ― OVO-Bench 総合 66.7%（参照SOTA 67.7% に肉薄）、リアルタイム知覚は応答中央値 0.32秒。単一GPU・学習追加なし。
- 狙いはロボット ― 「答えるべき瞬間を自ら判断する」設計で、物理AIエージェントの時間理解を支えます。
KAIROS は、映像の“意味”を時間軸で捉える当社の中核エンジンです。デモやご相談を承っています。