エージェントの導入で、セキュリティモデルが通用しなくなる

Lori Mac Vittie特別技術者兼チーフエバンジェリスト | F5

現在のエンタープライズ向けセキュリティツールの多くは、極めて明確な一連の前提に基づいて構築されています。それ自体は悪いことではありません。こうした前提は、過去20年間に幾度となく検証され、その妥当性が確認されてきたからです。中でも重要なのは、ソフトウェアは指示どおりに動作し、ユーザーはプロファイリングでき、システムは既知の条件下で予測可能な挙動を示すという前提です。APIやWebサーバー、あるいはパスワード管理が不適切な人を保護する場合には、この前提が通用していました。

しかし、自律型エージェントが登場すると、こうした前提はすべて崩れます。

エージェントは、常にスクリプトどおりに動くとは限りません。静的に定義された経路で動作するとも限りません。推論し、計画を立て、適応するため、目を離すと不適切な動作をする可能性があります。つまり、従来の防御戦略は、今となっては楽観的すぎたということです。

幸い、セキュリティ研究者はこの現実への対応に着手し始めています。その本格的な動きを示すものの1つが、次の論文です。「エージェント型AIのセキュリティ確保：LLMエージェントの脅威モデリング」。この論文は、恐ろしい新たなシナリオをいくつも提示するだけではありません。私たちが急速に足を踏み入れつつあるエージェント型AIの世界に向けて構築された、新たな運用フレームワークを実際に提案しています。

SHIELD：APIではなくエージェントのために構築されたフレームワーク

著者らは、SHIELDを紹介しています。これは、実環境で自律型エージェントを管理するための階層型アプローチです。単なる攻撃ベクトルの一覧ではなく、ガバナンスの青写真となるものです。SHIELDには以下が含まれます。

• サンドボックス化：エージェントがアクセスできる対象（ツール、ファイル、API）を、動作する前に明確に定義します。何らかの厳格なアクセス制御を使用します。ここでの基本的な前提は妥当であり、AIによるツール利用全般を管理するための取り組みもすでに数多く存在します。
• ヒューマン・イン・ザ・ループ：取り消せない操作が実行される前に、チェックポイントやエスカレーション経路を設けます。これはほとんどの自動化の取り組みに不可欠な要素であり、ごく当然の対策と言えます。
• インターフェースの制約： システムとエージェントがやり取りする際の厳格な入出力ルール。入力のサニタイズと応答のチェックのようなものですね。なるほど。
• 実行追跡： ツール呼び出し、メモリ状態の変化、計画ループを監視します。可観測性。可観測性。可観測性。
• ロギング： 結果だけでなく、推論の各ステップとツールの使用状況も記録します。これは覚えやすい頭字語を作るために必要な項目ですが、実際には上記の実行追跡と一体であり、包括的なオブザーバビリティ戦略の一部です。
• 決定論的リプレイ：推論セッションを再構築し、何が起きたかだけでなく、なぜそれが起きたのかを監査します。エージェント、というよりあらゆるAIの「状態」を再現することはほぼ不可能なので、これが実現可能だとは到底思えません。とはいえ、実現できたら素晴らしいでしょう。

まだ初期段階ではありますが、SHIELDが示す中核的な洞察は極めて重要です。エージェント型AIには、新たな制御ポイント、新たな前提、新たな思考モデルが必要です。この点については最近も触れたかもしれません。たとえば、こちらのホワイトペーパーです。ここでは、それがセキュリティリーダーやエンジニアにとって実際に何を意味するのかを簡潔にまとめます。

エージェント型AIに向けてセキュリティに必要な5つの転換

1. 静的な脅威モデルから動的な振る舞いの監視へ
従来の脅威モデルでは、攻撃者がラテラルムーブメント、権限昇格、ペイロード配信などの既知のパターンに従うことを想定しています。しかし、エージェントは既知のパターンには従わず、状況に応じて即興的に行動できます。

セキュリティチームは、創発的な振る舞いの監視を始める必要があります。つまり、エージェントが何を行い、どのように思考し、いつ意図された経路から逸脱するのかを把握できるテレメトリを構築するということです。セマンティック。オブザーバビリティ。これに尽きます。

2. 境界制御からランタイムポリシーの適用へ
LLMエージェントがすでに内部に入り込み、ツールの呼び出し、ファイルへのアクセス、APIリクエストの送信を自律的に行っている場合、ファイアウォールやゲートウェイレベルの保護は役に立ちません。

セキュリティをランタイムに近づけ、タスク単位の権限、環境の分離、意図の検証をリアルタイムで適用する必要があります。これは「推論としてのポリシー」と捉えることができます。エージェントに許可される操作は、その操作を実行すると判断する時点で確認しなければなりません。これはデータプレーンとコントロールプレーンの一体化を意味し、セキュリティの関与が不可欠です。

3. イベントのログ記録からコンテキストの把握へ
理解できないものを保護することはできません。エージェントを理解するには、ログだけでは不十分です。プロンプトチェーン、ツール呼び出しのメタデータ、メモリのスナップショット、実行コンテキストをすべてログに記録し、追跡可能にする必要があります。コンテキストが新たな境界です。

エージェントはなぜ5件の会議を予約し、午前2時にベンダーへメールを送信したのでしょうか。その意思決定ツリーを再現できなければ、理由はわかりません。これはオブザーバビリティではなく、エージェントフォレンジックです。

4. コードレビューから振る舞いテストへ
エージェントのロジックはコードではなく、重み、プロンプト、ツール、コンテキストの組み合わせにあります。そのため、静的レビューは役に立ちません。

必要なのは、サンドボックス環境での動作QAです。エッジケース、敵対的入力、権限の境界をシミュレーションします。エージェントは決定論的なコードモジュールとしてではなく、研修中の若手エンジニアのように扱ってください。

レッドチーミングは、「システムに侵入する」ことから「エージェントを操作する」ことへと進化させる必要があります。しかも、障害の連鎖を注意深く見極めながら、繰り返し実施しなければなりません。

5. ユーザーのアイデンティティからエージェントのアイデンティティとスコープへ
現在のアクセス制御は、主に「誰で、どのようなロールを持っているか」というユーザー中心の考え方に基づいています。しかし、これはエージェントには通用しません。今後はAIアクターに対して、アイデンティティ、権限スコープ、タスク境界を割り当てるとともに、自動失効（TTLなど）、共有メモリからの分離、永続的な監査証跡を実装する必要があります。

要するに、ゼロトラストは今や人間以外のアクターにも適用されます。アクターがツールを呼び出したり、リソースにアクセスしたりするたびに、その信頼性を証明する必要があります。

セキュリティも適応が必要

エージェント型AIは、単なる目新しい技術ではなく、システムレベルの変革です。モデルが自律性を獲得すると、システムのエントロピーが増大し、従来の前提がリスク要因となります。

SHIELDが的確に捉えているのは、単なる制御策の一覧ではありません。重要なのは、その「考え方」です。そこには、次の2つの基本的な前提が含まれています。

• エージェントは、その性質上、あるいは操作によって、想定された動作から逸脱するものと考える
• 推論エラーがシステム全体に副作用を及ぼす可能性があることを前提とする

これらを今から取り入れるセキュリティチームは、規模の拡大にも対応できるガードレールを構築できます。取り入れないチームはどうなるでしょうか。エージェントが「ただ役に立とうとした」結果、その後始末に追われることになります。

つまり、既存のフレームワークだけでは不十分です。エージェントはすでに現場に入り込んでいます。今こそ、その本質を正しく理解したガバナンスで対応すべきです。

著者について

Lori Mac Vittie特別技術者兼チーフエバンジェリスト | F5

Lori MacVittieは、F5のOffice of the CTOに所属するDistinguished Engineer兼Chief Evangelistであり、アプリケーションデリバリ、自動化戦略、インフラストラクチャに関する深い専門知識を有しています。AIエージェントのガードレール策定、脆弱なマルチクラウドアーキテクチャの分析、スケーラブルなシステムの限界の検証など、複雑な事柄を明快にすることで知られています。アプリケーション開発、ITアーキテクチャ、ネットワークおよびシステム運用の分野で、30年以上にわたる業界経験を有しています。F5入社前は、受賞歴のあるテクノロジー編集者として活躍していました。 MacVittieはコンピューターサイエンスの修士号を取得しており、セキュリティ、クラウド、エンタープライズアーキテクチャにわたる分野で多数の著作を発表しています。また、テーブルトークゲームとビデオゲームをこよなく愛し、チーズについては遠慮なく強いこだわりを語ります。

Lori Mac Vittieのその他のブログ記事