はじめに
四足歩行ロボット Unitree Go2 を対象に、当社で取り組んでいる 強化学習（Reinforcement Learning） による運動制御のデモ映像をまとめました。シミュレーション環境で学習させた制御方策を実機に転移し、多様な状況下で安定した歩行・動作を実現しています。
デモ映像
大脳系と小脳系 ― 人工意識ACとの関係
本デモは、当社の人工意識AC（"大脳系" ＝状況を理解し「何をするか」を決める層）が出す指令を、実際の脚の動きへ落とし込む "小脳系"（運動制御）として開発したものです。「判断する大脳系」と「動かす小脳系」を分けて設計することで、複雑な動作も安定して実現できます。本記事で紹介するのは、その小脳系を強化学習で獲得した成果です。
強化学習による運動制御
従来のモデルベース制御では、地形や外乱ごとに制御パラメータを設計・調整する必要がありました。強化学習を用いることで、シミュレーション上で膨大な試行を重ね、さまざまな状況に対応できるロバストな制御方策を自動的に獲得できます。
本デモでは、主に以下の点に取り組みました。
- シミュレーションでの大規模学習 — 多数の環境を並列に走らせ、効率的に方策を学習
- Sim-to-Real 転移 — シミュレーションで得た方策を実機 Go2 へ転移
- ロバストな歩容 — 地形や姿勢の変化、外乱に対して安定した歩行を維持
まとめと今後
本デモで確認できた主なポイントは次のとおりです。
- 多様な地形・姿勢に対するロバストな歩行（不整地・段差などへの対応）
- 外乱（押し・滑りなど）からの安定した復帰
- シミュレーションで獲得した制御方策の実機転移（Sim-to-Real）
強化学習による四足歩行制御は、不整地や予測困難な環境での自律移動に向けた重要な要素技術です。今後は、より複雑な動作・環境への対応や、大脳系（人工意識AC）との連携強化に取り組んでまいります。