ロボットを止めたのはAIじゃなかった――Physical AIに「決定論的な安全系」が必要な理由
深夜2時、ロボットを止めたのは「地味なプログラム」だった
ある夜、工場の6軸ロボットが止まった。カメラにも力センサーにも、異常のログは残っていない。AIモデルは「挿入可能」と判断していた。それでも、コネクタ挿入動作の0.3秒前に、ロボットは自分で動きを止めた。
翌朝の解析でわかったのは、AIモデルの判断ではなく、AIの「外側」に置かれた別のプログラムが働いたという事実だった。センサーの信号にわずかな遅延パターンがあり、「普段とは違う」というしきい値判定に引っかかった。シンプルで地味な、決定論的な制御プログラムの話だ。
これは元記事（Zenn: kotakotahiro氏）が冒頭に置いたエピソードだが、ここにPhysical AIの本質的な問いが詰まっている。AIモデルを賢くすることと、ロボットを安全にすることは、別の話だという問いだ。
なぜ今、Physical AIの安全性が問われるのか
2026年8月、米クアルコムが「Qualcomm Japan Robotics Center」の設立方針を発表した。ファナック、富士通、川崎重工業、ソニー、トヨタ自動車など約18の企業・団体・研究機関が初期から参画を表明している顔ぶれを見れば、これが個別の製品発表ではなく、産業構造そのものへの投資だとわかる。
「なぜ日本か」について、よく語られる答えは「精密ハードウェアの集積地だから」だ。Physical AIにはAIモデルという「脳」だけでなく、モータ、減速機、センサー、カメラという「身体」が要る。日本はそこに強い。加えて少子高齢化による人手不足が、製造・物流・介護・建設の現場に強烈な導入インセンティブを生んでいる。
ただ、この説明は半分にすぎない。もう半分の理由は、「賢いAIを現実の現場で安全に使いこなすシステムを作れるか」という別次元の問いに関係している。
「賢いAI」には構造的な限界がある
LLMはインターネット上の膨大な文章から「次の単語」を予測する学習を通じて、意味理解や推論能力の一部を獲得した。これは間違いなく大きな進歩だ。しかしLLMには、ある行為がルール違反だと正しく判別できても、実際の行動をそれが確実に制約するとは限らないという性質がある。知識と行動は別のレイヤーにある。
LLMでその弱点が出ても、「変な文章が出力される」程度で済む場合がある。文章は直せる。プロンプトを変えれば済むこともある。
Physical AIではそうはいかない。ハルシネーションはもちろん、センサーや制御を含むどの層の誤りでも、ロボットの暴走、設備の破損、人身事故につながる可能性がある。
元記事が参照するOpen X-Embodimentは、21機関・22種類のロボットから100万本超の実ロボット軌跡データを集約し、異なるロボット間での共同学習によって未経験タスクへの性能改善を示した。「多様な実データには価値がある」という有力な実証だ。だが、モデルが「この程度の力なら壊さずに持てる」という物理的直感を獲得したとしても、それは危険を理解する能力であって、危険を絶対に犯さない保証ではない。
95%の成功率から99.999%の安全性へ引き上げるには、データ量を増やすだけでは足りない。
自動運転がこの壁を最もわかりやすく示している。E2Eモデルは工事現場の誘導員の曖昧なジェスチャーや、合流時の「譲る・譲らない」の空気を読むような運転文脈を学習できるまでに進化した。しかしODD（運行設計領域）を超えたとき、センサーが故障したとき、モデルの確信度が下がったときに、システムが安全側へ確実に遷移できるかという別次元の課題は、AIモデルの性能向上とは独立して存在する。UN R157という国際基準がODDの定義、システム安全、引継ぎ要求、最小リスク操作を規定しているのも、まさにここが「別の問い」だからだ。
両輪モデルという視点の転換
ここが記事の核心だと思う。
Physical AIの進化を「AIモデルがどこまで賢くなるか」という一本の軸で見ている限り、この問いは解けない。必要な視点の転換は、Physical AIを「二つの異なる工学の統合」として捉えることだ。
- 確率的に提案・予測するAI：VLA（Vision-Language-Action）モデルや世界モデルが現場を観測し、行動候補と不確実性の推定を出力する
- 決定論的に制約・監視・停止するシステム：安全スーパバイザが速度・力・距離・姿勢の制約を検査し、センサーや制御器の健全性を監視し、必要なら行動を拒否・停止する
重要なのは、AIモデルに「候補を出す権限」は与えても、「最終的に実行する権限」を無制限には与えないという設計思想だ。これはRun-Time Assurance（実行時保証）と呼ばれる考え方に近い。学習搭載システムが通常時の操作を担い、独立した安全スーパバイザが危険な兆候を検知したときに介入・停止する構成だ。
ここで一つ整理しておきたいのが、最近のAIエージェント開発で話題の「ガードレール」や「ハーネスエンジニアリング」との違いだ。ハーネスのガードレールも決定論的な実装を持つことがある（権限境界、出力検証、承認ゲートなど）。しかしガードレールが扱うのは、ファイル削除やAPI呼び出しといった離散的・可逆なソフトウェア行為の許可・拒否だ。「実行しない」という選択そのものが安全な既定動作になる。
Physical AIの安全スーパバイザが扱うのは連続的・不可逆な物理運動だ。止めるだけでなく、どのタイミングでどの状態に遷移させるかという判断が、ミリ秒単位で要求される。これは根本的に異なる工学の問いであり、「ガードレールを付ければ済む」という発想では届かない。
日本の強みをどう読むか：実務の視点から
ここからは事実の整理を離れて、実務的な含意を考えたい。
日本の産業基盤の強みは「精密ハードウェアがある」ことだけではない。Physical AIの学習に本当に必要なのは、観測・行動・結果・失敗・復旧が時系列で結びついた「接地済みデータ」だ。カメラ・深度・力覚・トルク・関節角の同期データだけでなく、ワークのロット差、治具のずれ、成功・失敗・過大荷重・再試行の記録、人間の介入内容までを含む精緻な計測設計が必要になる。工場のIoTデータがそのままロボットの学習データになるわけではない。この「計測設計」を成立させられる現場が日本には数多くある。
元記事が挙げているタグチメソッドの話は、少し意外な切り口で面白い。ロバストな設計条件を見つけるために、制御可能な因子とノイズ因子を分けて直交表的に実験するという発想は、Sim2Real（シミュレーションから実機への転移）における学習データ設計に直接応用できる。照明、部品ロット、摩擦、治具のずれ、カメラ遅延といった変動要因を意図的に振り、正常ケースだけでなく境界事例・失敗事例を体系的に収集する。AIに「成功例の暗記」ではなくばらつきへの耐性を学ばせるための設計思想として、品質工学は決して古い手法ではない。
もう一つの論点が、安全スーパバイザの実装知がどこで蓄積されるかだ。自動運転は開放世界を相手にするため、安全スーパバイザの完成を自動運転だけで目指すとハードルが高すぎる。工場・倉庫・建設・港湾のような管理された物理現場で先に実装知が磨かれ、それが後から自動運転へ流れ込むシナリオのほうが現実的だろう。工場ロボットでは作業空間や速度の管理がしやすく安全停止・力制限の設計を磨ける。倉庫・物流ではODDの定義やジオフェンスの実装を検証しやすい。こうした積み上げが自動運転の壁を崩す道具になる可能性がある。
日本の産業構造——FA、組込み制御、機能安全、品質保証、保守運用の厚みは、まさにその「安全スーパバイザのミドルウェア」を育てる場として機能しうる。
今後の論点：誰が責任を持ち、何が標準になるのか
この記事を読んで浮かぶ「次の問い」を置いておく。
安全スーパバイザを誰が作るのか。 AIモデルのベンダーか、ロボットメーカーか、プラットフォーマーか。この役割分担が決まらないまま展開が進むと、責任の所在が曖昧になる。モデルが「候補を出した」が、安全系が「見逃した」場合、誰の責任か。ここは技術の問いでなく、産業構造と契約の問いだ。
国際規制の枠組みがどこまで広がるか。 自動運転のUN R157に相当する安全基準が、工場ロボットや物流ロボットに整備されるとき、その中身を誰が主導するか。ISOの機能安全規格（ISO 13849、IEC 62061など）は既に存在するが、Physical DNNを組み込んだハイブリッドシステムへの対応はまだ過渡期にある。
判断軸として持っておきたいのは、次のニュースを見るときに「どちらの車輪の話か」を意識することだ。 「新しいVLAモデルが登場した」「世界モデルがより正確になった」という話は、確率的な車輪（AIモデルの性能）の話だ。それだけでは安全性の話ではない。安全スーパバイザの標準化、実行時監視のミドルウェア、機能安全認証の取得——こちらが決定論的な車輪の話であり、Physical AIが実際に現場で動くための本当の条件に近い。
この二つを区別して読めるようになると、「Physical AIが進化した」というニュースの重みが変わって見えてくる。
軽くまとめると、Physical AIの安全性は「モデルを賢くする」という一本の軸では解決しない。確率的に予測するAIと、決定論的に安全を強制するシステムの統合が必要であり、後者の実装知と検証機会を持つ場所が、Physical AIの次の競争を左右する。日本の強みは精密ハードウェアだけでなく、その「決定論的な車輪」を育てられる産業現場にある。そこを整理できているかどうかが、クアルコムの投資構想を読む精度を変える。
