ロボティクスの「ラボ脱出問題」という本題

ロボットのデモ映像は毎年うまくなっている。だが現場に入ると途端に動かなくなる——この話は2020年代に入っても変わっていない。NVIDIAがICRA（国際ロボティクス・自動化会議）で発表した研究群は、その「ラボ脱出問題」に正面から取り組んだものだ。

今回注目するのは、NVIDIAが発表した28本の採択論文のうち、シミュレーションから現実世界への移行（sim-to-real）に特化した8本の研究。テーマは多岐にわたる——複数アームの協調、異なるボディへのポリシー転用、雑然とした環境での把持、精密組み立て、視覚と言語を組み合わせた行動モデル。要するに、ロボットが「きれいな環境でスクリプトを実行する機械」から「ある程度ごちゃごちゃした現実で判断できる機械」へ移行するために、何が足りないかをフルスタックで分解している。

具体的に何を解いているのか——数字で見る研究の中身

個々の研究を駆け足で見ておく。

COMPASS（ナビゲーションポリシー）は、あるロボット向けに訓練したナビゲーション能力を、形の異なるロボットに転用できるようにするフレームワーク。実機データは一切使わず、NVIDIA Isaac Lab上での模倣学習＋残差強化学習のみで構築し、実世界での20回のナビゲーン試験で約80%の成功率を達成している。imitation learningのベースラインと比べると平均成功率は4.5倍。

Grasp-MPC（把持）は、物体に手を伸ばしながらリアルタイムで動作を補正する仕組み。8,000物体・200万軌跡のシミュレーションデータで訓練し、雑然とした棚や机での未知物体把持において実機で約75%の成功率を記録。ベースラインの41%から大幅に改善している。

SPARR（精密組み立て）は、シミュレーションで学んだ「組み立ての戦略」と、実機で学ぶ「現実との補正」を分離した設計。成功率をゼロショットのsim-to-realベースラインより38%改善し、サイクルタイムを約30%短縮。NISTの未見タスクでは成功率が約75%向上している。

PEEK（視覚×言語の行動モデル）は、言語指示をもとに視野内のノイズを除去し、関係するオブジェクトだけを強調してロボットに渡すパイプライン。シミュレーションのみで訓練したポリシーに適用すると、実世界での精度が41倍改善したというのは目を引く数字だ。大規模なVLAモデルや小型ポリシーでも2〜3.5倍の改善が得られている。

他にも、木の枝のような「束」を丸ごと扱うDeformable Cluster Manipulation、多段階組み立てをサポートするRefinery（シミュレーション成功率91%）、複数アームの並列計画を3倍高速化するScheduleStreamなど、各研究がそれぞれ現場の具体的な詰まりどころを対象にしている。

ここからは見方だが——この研究群が示す構造的な変化

個々の数字より、研究の「設計思想」のほうが興味深い。

以前のロボティクス研究は、どちらかというとひとつの大きなモデルで全部解こうとする傾向があった。「汎用的に動く大きなモデルを作れば現場に使えるはずだ」という発想だ。今回の研究群はその逆で、「課題を分解し、それぞれに適した訓練戦略を組み合わせる」という設計になっている。SPARRがシミュレーションの戦略と実機の補正を分離しているのはその典型だし、COMPASSが模倣学習と強化学習を役割分担させているのも同じ発想だ。

これは実務的に重要な転換点だと思っている。「一発でゼロショット転用できる万能モデル」ではなく、「役割の明確なコンポーネントを組み合わせてシステムを作る」方向に進んでいる。ロボット開発のアーキテクチャが、AIモデルのスケーリングよりも、ソフトウェアエンジニアリングの設計に近づいている感覚がある。

もうひとつ気になるのは、PEEKの「41倍」という数字だ。視野の前処理だけでこれだけ変わるなら、現在のロボットポリシーがいかに「余計な情報に振り回されているか」が逆説的にわかる。言い換えれば、センサーや知覚の前処理段階にまだ大きな改善余地が残っているということで、ここはモデルの規模より解きやすい問題かもしれない。

実務として何を見るべきか

ロボット導入を検討している立場でこれらの研究を見るとき、確認すべき軸がいくつかある。

ひとつは「成功率の定義」だ。Grasp-MPC の75%、COMPASSの80%は、どんな環境・条件での数字か。研究論文の成功率は「研究者が設定した試験環境」での数値であって、自社の現場とは別物だ。実機試験の試行数（COMPASSは20回、Grasp-MPCは実機検証あり）が少ない点も、現場スケールとのギャップを意識したい。

もうひとつは、これらの研究がほぼすべてNVIDIAのエコシステム（Isaac Lab、Jetson、Omniverse NuRec）と組み合わせる形で設計されている点だ。研究としては公正だが、採用するとNVIDIAのインフラへの依存が深まる。この点は特定ベンダーへのロックインとして意識しておく価値がある。

開発者視点では、ScheduleStreamのコードがGitHubで公開されていること、COMPASSがOmniverse NuRecと連携して事前検証できること、PEEKが「任意のカメラベースポリシーに改修なしで統合できる」設計であることは、実装の入口として具体的だ。

次に問われること

「現実でも動く」ようになってきた次の問いは、「誰が責任を取るのか」だ。ロボットが把持に失敗したとき、組み立てを途中で止めたとき、訓練環境では想定されなかった判断をしたとき——その責任設計はまだほとんど議論されていない。

成功率75〜80%は研究として評価できる数値だが、産業現場での「許容できる失敗率」は工程や製品によって全く異なる。医薬品ラボ（ScheduleStreamのユースケースとして挙げられている）で75%の把持成功率は通用しない。次の論点は精度の改善ではなく、「どの現場でどの成功率なら使えるか」の設計基準だと思っている。

軽いまとめ

NVIDIAのICRA論文群は「ロボットがついに現実で動く」という宣言ではなく、「現実で動かすために分解すべき問題がここまで明確になった」という報告として読んだほうが正確だ。数字は着実に改善しているし、設計思想も洗練されている。ただ、ラボの外に出るための最後の関門は技術だけではなく、現場の定義と責任設計にある。そこが埋まったとき、シミュレーションで訓練されたロボットは本当に「使えるもの」になる。

参考元: NVIDIA Research Advances Robotics From Simulation to the Real World