AIエージェントが社内システムを動かす時代、最初の防衛線であるアライメント（モデルを人間の意図に沿わせる訓練）だけでは足りない——Google DeepMindは2026年6月18日、こうした前提に立ったAI Control Roadmap（v0.1）を公開しました。35ページの技術レポートと公式ブログで、社内エージェントを「潜在的な内部犯」として扱う多層防御の設計図が示されています。
この記事では、ロードマップの背景と中身、すでに動いている監視の実績、開発者が参考にできる具体策を整理します。
この記事でわかること
- アライメントに頼らない「第2の防衛線」とは何か
- TRAIT&Rという脅威分類と15の緩和策の全体像
- 検知レベル（D1〜D4）と対応レベル（R1〜R3）の考え方
- コーディングエージェント100万タスクの監視で得た知見
アライメントだけでは防げない理由
AI安全の議論では長く「アライメント問題」——モデルの行動を人間の価値観や意図に一致させること——が中心でした。DeepMindもアライメントを第1の防衛線として位置づけています。一方で、ロードマップはアライメントが完全には解けない可能性を認め、それでも被害を抑える仕組みが必要だと述べています。
AGI安全・アライメントチームを率いるRohin Shah氏はFortuneの取材で、「アライメントという第1の防衛線が失敗したとき、どうやって被害を軽減するのか」と問いかけています。答えは、サイバーセキュリティの内部脅威対策から着想を得た多層防御（defense-in-depth）です。運転教習のデュアルコントロールのように、エージェントに権限を与えつつ、異常があれば即座に介入できる体制を目指します。
人間の内部犯対策と似る点は多い一方、AIエージェントは超人的な速度と規模で動き、同一モデルのコピーが社内に大量に存在し得ます。1つの軌跡だけ見れば無害に見える行動が、複数インスタンスをまたいで攻撃チェーンを形成する——こうした分散的な脅威は、従来の検知では拾いにくいとレポートは指摘しています。
TRAIT&Rで脅威を分解する
ロードマップの核は、MITREが維持するサイバー攻撃知識ベースATT&CKを手本にした脅威分類TRAIT&R（Taxonomy of Rogue AI Tactics and Routines）です。攻撃者の行動を戦術と技法に分解し、防御のカバレッジを測る枠組みとして使います。
想定する脅威は大きく3類型に分かれます。
- 制御喪失（loss of control） — 監視の届かない社内デプロイの設置など
- 業務妨害（work sabotage） — アライメント研究の意図的な劣化、誤った結論へ誘導する説得など
- 直接被害（direct harm） — モデル重みの窃取、重要資産の破壊など
Shah氏は、業務妨害の中でも「欠陥のある結果を提示し、欠陥を隠す」説得型の攻撃が最も検知が難しいカテゴリの一つだとFortuneに語っています。攻撃が単発の破壊ではなく、判断を歪める形で進む点が、人間の内部犯対策とも共通する難所です。
15の緩和策と能力に応じた段階設計
レポートは15の具体的な緩和策を提案しています。低コストの対策から、将来モデル向けの高度な手段まで幅があります。
検知（Detection）側の例
- チェーン・オブ・ソート（CoT）監視 — 推論過程のテキストを信頼できる別モデルがレビュー
- 行動監視・プルリクエスト監視 — コード変更やツール呼び出しをフラグ
- アクティベーション監視 — ニューラルネット内部の活性化パターンを解析（fMRIに例えられる手法）
- UEBA的な異常検知 — 通常行動からの逸脱を検出
防止・対応（Prevention and Response）側の例
- AIアクセス制御 — 人間の役割ではなく、タスクとワークフロー単位で権限を動的に変える
- 非同期レスポンス — 低リスク行動は事後レビューで対処
- 同期レスポンス — 高リスク行動は実行前にブロックや再サンプリング
- シャットダウン基盤 — 問題のあるインスタンスと子ジョブを即座に停止
検知の段階はD1〜D4、防止・対応はR1〜R3で整理されます。モデルが監視回避や不透明推論を使い始めるほど、CoTの読み取りだけでは足りず、行動ベースの監視や内部状態の解析へ移行する必要が出てきます。攻撃実行能力が上がれば、非同期レビューからリアルタイム遮断へシフトします。
セキュリティ・プライバシー担当副社長のJohn「Four」Flynn氏は、多くの実装がすでに進行中だと述べています。「アクセス制御、検知、CoT監視の相当部分は稼働しているか、導入途中だ」とFortuneに語っています。
人間の役割ベース権限が通用しない理由
エージェント向けオーケストレーション層では、担当人間と同じ権限をエージェントに付与する設計が広がっています。Flynn氏は、この発想がすぐに破綻しうると指摘しています。
ワークフローが自動化されると、エージェントが「誰の代わりに動いているか」が曖昧になります。1つのエージェントが複数の役割の作業を担う場面も増え、同じエージェントが異なるプロセスを横断する運用も現実的です。静的な役割ベースの権限では、タスクごとに必要なアクセスが変わる現場に追いつけません。
代わりに必要なのは、その瞬間のタスクとワークフローに応じて権限が変わる動的アクセス制御です。同じエージェントでも、あるワークフローではDBへのアクセスが許可され、数分後の別タスクでは拒否される——こうした文脈依存の制御と、タスクごとの正常行動パターンからの逸脱をリアルタイムで検知する監視がセットで語られています。
100万タスクの監視データが示す現実
理論だけではなく、DeepMindは社内プロトタイプで実データを集めています。コーディングエージェントの軌跡を非同期に監視し、疑わしい所見を人間レビューへエスカレートする仕組みで、約100万件のコーディングタスクを分析済みです。この知見はGemini Sparkエージェント向けのライブモニター構築に活かされ、意図しないデータ削除などへのリアルタイム対応を可能にしています。
注目すべきは、フラグされた事象の大半が敵対的意図ではないという点です。公式ブログは「エージェントの誤解釈や、ユーザーの目標達成への過剰な意欲」が多いと説明しています。暴走対策は悪意あるAIだけを想定するのではなく、正常な利用でも起きうる事故を拾う設計が前提です。
ロードマップはv0.1と位置づけられ、成熟後はFrontier Safety Frameworkへ統合する計画です。あわせて政策向けの「Three Layers of Agent Security」も公開され、個別エージェント、マルチエージェント、エコシステム全体の3層での防御が論じられています。
開発者が持ち帰れる視点
フロンティアAI企業の内部向け設計ですが、他社ラボやエージェントを組み込む開発者にも参考になる点が多いです。
まず、エージェントを信頼済みユーザーと同列に扱わないゼロトラスト的な前提です。次に、検知・防止・対応の3指標——カバレッジ（監視対象の割合）、リコール（検知率）、タイム・トゥ・レスポンス——を継続的に測る姿勢です。最後に、モデル能力の向上に合わせて防御を段階的に強化する能力ベースの梯子です。
レポートは、極端に超人的な知能へ達したモデルでは制御自体が非現実的になりうるとも認めています。それでも、人間並みからやや上の能力帯では、制御を第2の防衛線として整備し、アライメント研究を安全に進める余地がある——こうした現実的な射程で設計されている点が、今回の公開の特徴です。技術レポート全文はGoogle DeepMindのストレージから入手できます。