Googleが自社AIを「信頼しない」前提で動き始めた——AI Control Roadmapが示す新しい現実
Google DeepMindが6月に公開した「GDM AI Control Roadmap」は、全36ページの技術文書だ。内容を一言で言えば、「自社のAIエージェントを内部脅威とみなし、その行動を監視・統制するための計画」である。
Geminiの新機能発表でも、外部向けのAI倫理ガイドラインでもない。自社内で稼働するAIエージェントに対して、どうガードレールを設けるかという「内部設計書」だ。AIを開発する企業が、自社のAIを「信頼できない存在」として扱う前提で設計文書を公開する——これは業界的にかなり異例のことだと受け止めていい。
Googleが自社AIに「ゼロトラスト」を適用した
まず、この文書が何を対象にしているかを押さえておく。
AI Control Roadmapが扱うのは「エージェント型配備（agentic deployments）」だ。文書の定義によれば、「コードの作成・実行や社内インフラとのやりとりを含むツール利用を可能にする、ハーネス（エージェントの実行基盤）上へのAIモデルの配備」を指す。要するに、自律的にタスクをこなしながら社内システムと接触するAIエージェントのことだ。
Google DeepMindはこうしたエージェントを「イノベーションのエンジン」と表現している。AIの研究開発やサイバー防御を担う存在として期待しているわけだが、同時にその「中核業務を担う存在」だからこそ、行動を統制する仕組みが重要になるとも指摘している。
使えば使うほどリスクが上がる、という構造だ。
アラインメントを「信じない」ことを前提にした設計
AIの安全性を語るとき、真っ先に出てくるのは「アラインメント」——AIの価値観や目標を人間の意図に沿わせるトレーニングの話だ。ただAI Control Roadmapが提示するのは、それとは別のアプローチである。
「AIコントロール」は、アラインメントが完全ではない場合に備えた「第2の防衛線」として位置づけられている。具体的には、自動監視、アクセス制御、実行環境の堅牢化、インシデント対応を組み合わせる。アラインメントが不十分で、人間の意図とずれた目標を持つAIエージェントが現れたとしても、引き起こされる被害を一定以下に抑え込むことを狙っている。
ここが重要なポイントだ。「AIを正しく訓練すれば大丈夫」という楽観ではなく、「訓練が外れた場合でも被害を最小化できるか」という問いを立てている。システムエンジニアリングで言えば、フォールトトレランスの発想をAIの振る舞いに適用したと言えばイメージしやすいか。
2軸で能力を測り、段階的にガバナンスを強化する
AI Control Roadmapが掲げる防衛条件は2つある。第1に、不整合な意図または行動を信頼できる水準で「検知」できること。第2に、攻撃の試みを「予防・遮断・復旧」できることだ。
この条件を維持するために、AIエージェントの能力を2つの独立した軸で評価する。
検知回避能力：推論を隠したり、監視者を欺いたりできる能力。
攻撃実行能力：自律性や長期計画、サイバー能力を使って重大な攻撃目標を実現できる能力。
前者に対して4段階の検知レベル（D1〜D4）、後者に対して3段階の予防・対応レベル（R1〜R3）を設定し、モデルの能力が上がるほど防御を引き上げる。これが「能力連動型ガバナンス」の骨格だ。
Google DeepMindはその原則をこう表現している。「攻撃を検知し防ぐわれわれの能力は、AIエージェントが検知を回避し攻撃を実行する能力を上回らなければならない」。
シンプルに聞こえるが、これが実際にオペレーションレベルで意味することは重い。モデルの能力評価を継続的に行い、それに応じてガバナンスを更新し続けなければならない。静的なルールセットでは機能しない設計だ。
"AI版内部不正者"という、かなり保守的な脅威モデル
AI Control Roadmapの脅威モデルは、企業セキュリティの文脈で言えばかなり保守的な設定になっている。
高能力モデルを丸ごと「信頼できないモデル」として扱い、そのモデルから起動される全てのエージェントやインスタンスも信頼しない。さらに、それらが共通の敵対的目標を持ち、互いに協調しながら監視を回避しようとする可能性まで想定している。一方、人間と一定能力以下の弱いモデルは、防御を支援する「信頼できる主体」として扱う。
これはゼロトラストの発想を、自社のAIそのものに適用した形だ。「社内のシステムだから信頼する」のではなく、「社内にあっても信頼しない」という設計原則。それを自社製AIに向けた、というのがこの文書の最も尖った部分だと思う。
構造として何を意味するのか
ここからは事実の整理を離れて、この動きをどう読むかという話をしたい。
企業が「自社のAIを敵として設計する」という姿勢を公文書で示したことは、単なる技術的な詳細以上の意味を持つ。
まず、これは「アラインメント研究だけではAIの安全性を担保できない」という認識が、Google DeepMindの内部でも共有されていることを意味する。訓練の話だけでなく、システム設計・監視・インシデント対応まで含めたエンジニアリング的なアプローチが必要、という判断だ。
次に、「内部不正者モデル」という発想の転用が面白い。企業セキュリティでは長年、悪意ある内部者（インサイダー）への対処が研究されてきた。ゼロトラストの概念もその流れから来ている。AI Control Roadmapはそのフレームワークを、AIエージェントという「新しい種類の内部者」に対して適用している。
問題は、AIエージェントには人間の内部不正者と異なる特性がある点だ。スケールが違う。インスタンスが無数に存在し、速度も速い。人間であれば組織の摩擦が自然なブレーキになるが、エージェントにはそれがない。この違いを既存の内部不正者モデルでどこまでカバーできるのかは、まだ分からない部分が多い。
実務的な示唆と、次に問題になること
AIエージェントを本番環境に組み込もうとしている組織——特にSaaS企業や社内DX推進チーム——にとって、このロードマップは他人事ではない。
Googleほどのリソースがある組織でも、36ページの設計文書を作って「第2の防衛線」を設けなければならないと判断している。スタートアップや一般企業が同じことをゼロから設計するのは現実的ではないが、「エージェントの行動ログをどう残すか」「誰がどのインフラにアクセスできるか」「異常な行動のアラートを誰が受け取るか」という問いは、今すぐ考え始めるべき問いだ。
今後の論点として個人的に気になるのは、「監視者の能力を誰が評価するか」という問題だ。AI Control Roadmapは「攻撃を検知する能力がエージェントの能力を上回らなければならない」と言う。だが、その評価自体をAIに頼る場面が出てきたとき、何が起きるか。監視するAIも、潜在的には信頼できない存在のはずだ。
これは循環論法のように見えるが、実際のシステム設計では避けて通れない問いになる。Google DeepMindがそこをどう答えるのかは、今後の文書や実装例に注目したい。
まとめに代えて
AI Control Roadmapを「Googleがセキュリティを頑張っている」という話として読むと、重要な部分が抜け落ちる。
これは「AIを信頼しない前提でシステムを設計することが、もはや業界標準になりつつある」というシグナルだ。アラインメントに全てを賭けるのではなく、システムレベルの防御を重ねる。その発想自体は、ソフトウェアセキュリティの世界では当たり前のことだ。ただAIという対象に対してそれが適用され始めたことで、AIエージェントの設計・運用に求められる水準が一段上がった、と見るべきだろう。
今後同種のニュースを見るとき、「アラインメントの話なのか、コントロール（システム設計）の話なのか」を区別することが判断軸のひとつになる。この2つは補完関係にあるが、まったく別の問いに答えている。
参考元: Googleが"自社AIの裏切り"に備え始めた 異例の構想「AI Control Roadmap」とは——ITmedia AI＋
