振る舞いと境界：エージェント型AIがもたらすセキュリティの転換

Lori Mac Vittie特別技術者兼チーフエバンジェリスト | F5

多くの人は、エージェント型AIがもたらす影響を最後まで突き詰めて考えていません。たとえ従来の前提が揺らぐとしても、特にセキュリティについては、徹底的に考える必要があります。

先に言っておくと、基盤は揺らぎます。

たとえば、OWASP Agentic Top 10は、「エージェントが既存の脆弱性を増幅させる」という前提を正しく捉えています。APIの前段にLLMを配置したからといって、APIが突然セキュアになるわけではありません。むしろ、非常に辛抱強い攻撃者のように、何かが継続的に調査し、アクションを連鎖させ、経路を探索するようになったことで、APIは以前よりも脅威にさらされています。このリストでは、複数ステップの実行、ツールチェーン、時間の経過に伴う意思決定の変化についても的確に取り上げています。

しかし、私たちが向き合うべき、より根深い問題にまでは踏み込んでいません。

評価できる点と課題

OWASPのリストでは、エージェントがまったく新しい障害モードを生み出すのではなく、既存の障害モードをより危険なものにすると指摘しています。ツールの誤用、複数のステップにまたがる権限の継承、目標の乗っ取りは現実に存在するリスクであり、単一のプロンプトやリクエストではなく、一連の処理の中で顕在化します。OWASPは、エージェント型システムの動的な性質を理解しています。これらの指摘はすべて正しいものです。

しかし、このガイダンスは依然として、主に従来のリクエスト／レスポンスモデルを前提としています。制御の基本単位は「リクエスト」であり、IDを検証し、権限を確認し、内容を検査したうえで判断するという考え方です。このモデルは、ワークフローが事前に定義され、アプリケーション設計によって範囲が限定されていた時代には有効でした。

エージェント型システムでは、その前提が成り立ちません。

目標の達成に向けて、実行時にフローを構築します。結果を評価し、適応と反復を重ねながら、対象範囲を拡大します。個々のリクエストは、IDが正しく、権限が整合し、ポリシーにも適合しているという点では完全に妥当であっても、全体としての動作は本来の意図から大きく逸脱する可能性があります。

ここに、制御を失ったように感じる原因があります。アイデンティティが機能していないわけではありません。認証は引き続き堅牢です。認証情報の伝播と委任は設計どおりに機能しています。エージェントは自身のアイデンティティまたは委任された認証情報を使用して動作し、トークンはサービス間で確実に受け渡されます。

問題は別のところにあります。従来のアクセス制御は、暗黙の前提である「境界が定められたフロー」に依存していました。アプリケーションが一連のアクションを定義し、分岐ロジックがあっても、何が起こり得るかはシステム自体によって制限されていました。利用可能な経路が限られていたため、この構造のもとでは各リクエストを個別に評価できました。ポリシーはこの前提に基づいて構築されており、適用の目的は、まさにその境界を強制することです。

しかし、エージェントは事前定義されたフローを、状況に応じて生じるフローへと置き換えます。その動作は動的に展開され、多くの場合、個別のAPI呼び出しに、長時間継続するセッションやストリーミングでのやり取りが組み合わされます。エージェントがデータセットを探索し、時間をかけてコンテキストを構築した後、誰も予期していなかった書き込みを実行する可能性もあります。制御不能なループ、予期しないコストの急増、想定外のシステム横断アクションは、アイデンティティや個々のリクエストの不備によるものではありません。正当なアクションが意図しない順序で組み合わされた結果です。

エージェントは設計上、動作範囲に上限がありませんが、従来のアプリケーションと同じ制約下で動作することを前提としたセキュリティシステムによって制限されています。

ディレクトリトラバーサルが、その明確な例です。従来、パス操作は悪意のあるものと見なし、ブロックしてきました。これは妥当な対応です。想定されるパスが明確に定められており、そこから外れるものは疑わしいと判断すべきだからです。

しかし、ファイルシステムから文書を取得したり、コンテキストを構築したりするエージェントにとって、ディレクトリ構造をたどることは不審な動作ではなく、必要な処理です。これを全面的にブロックすれば、エージェントは役に立たなくなります。無制限に許可すれば、手当たり次第に探索するエージェントにシステム全体へのアクセスを許すことになります。

本当の問題は探索そのものではありません。問題なのは、無制限の探索です。同じパターンは、ツールの不正使用、目標の乗っ取り、メモリポイズニングにも見られます。リスクは個々の操作ではなく、一連の操作を通じて蓄積します。

必要な転換：リクエスト検証から行動ガバナンスへ

認証と帰属の特定には引き続きアイデンティティが必要ですが、長期にわたって振る舞いを統制するには十分ではありません。ロールおよびスコープに基づくモデルは、予測可能なパターンと範囲が限定されたインタラクションを前提としています。 リクエストベースとセッションベースの両方のモデルにまたがって処理が実行されるエージェント型環境では、これらのモデルで実現できるのは大まかな制御に限られます。

アクセス制御を行動ガバナンスへと進化させる必要があります。そのためには、すでに何が起きているか、行動がどのように変化しているか、アクションが複数のプロトコルにどのようにまたがっているかという全体的なコンテキストに基づいて、リクエストを評価しなければなりません。適用は継続的かつプロトコルを考慮したものとし、個別の呼び出しや永続的なセッションを通じた累積を追跡する必要があります。

その解決策となるのが、制約ベースのポリシーです。厳密なパスを規定するのではなく、許容される動作範囲を定義します。

• リソースの境界（これらのデータセットからの読み取りは許可するが、本番環境への書き込みは一切許可しない）
• 定量的な制限（アクション、コスト、スコープ拡大の上限）
• 機能上の制約（破壊的な操作を実行する前に追加の承認が必要）
• リスクの増大に応じて対応を強化する条件付きポリシー

これらの制約は、HTTPリクエストとWebSocketストリームのどちらで伝送される場合でも、シーケンス全体に適用されます。APIゲートウェイ、サービスメッシュ、オーケストレーションプラットフォームなどの共有アーキテクチャレイヤーが重要になります。これらのレイヤーにより、動作の進行に伴って実行コンテキストをアイデンティティとともに伝播しながら、動作を観測し、相関付け、介入するための視点が得られます。

ルーティング自体が制御メカニズムとなり、定義された上限に近づくシーケンスを制約付き環境へリダイレクトしたり、スロットリングしたり、終了したりできます。適用する制御は二者択一ではなく段階的なものとなり、有用な処理を即座に停止することなく動作を調整します。

これらの目標を達成するには、アプリケーションデリバリとセキュリティが連携し、共通のコントロールプレーンを介して協調・通信することで、事前定義されたワークフローではなく、ポリシーによって動作を制限できる必要があります。

この移行では、考えられるすべての経路を予測する必要はありません。必要なのは、観測された動作に基づいて制約を継続的に調整し、運用とポリシーの間にフィードバックループを構築することです。

今こそ必要な転換

AIは新たなリスクをもたらすだけではありません。既存の制御をどのように適用するか、見直しを迫るものでもあります。この進化がなければ、技術的にはセキュアでも実用にならないシステムと、高い能力を備えていても気づかないうちに制御不能に陥るシステムとの間を行き来し続けることになります。

セキュリティの単位は、もはやリクエストではなく、振る舞いです。

問われるのは、もはや単にリクエストを許可するかどうかではなく、そのリクエストが示す振る舞いの継続を許可すべきかどうかです。

これこそが、エージェント型AIのセキュリティにおいて必要な転換です。

著者について

Lori Mac Vittie特別技術者兼チーフエバンジェリスト | F5

Lori MacVittieは、F5のOffice of the CTOに所属するDistinguished Engineer兼Chief Evangelistであり、アプリケーションデリバリ、自動化戦略、インフラストラクチャに関する深い専門知識を有しています。AIエージェントのガードレール策定、脆弱なマルチクラウドアーキテクチャの分析、スケーラブルなシステムの限界の検証など、複雑な事柄を明快にすることで知られています。アプリケーション開発、ITアーキテクチャ、ネットワークおよびシステム運用の分野で、30年以上にわたる業界経験を有しています。F5入社前は、受賞歴のあるテクノロジー編集者として活躍していました。 MacVittieはコンピューターサイエンスの修士号を取得しており、セキュリティ、クラウド、エンタープライズアーキテクチャにわたる分野で多数の著作を発表しています。また、テーブルトークゲームとビデオゲームをこよなく愛し、チーズについては遠慮なく強いこだわりを語ります。

Lori Mac Vittieのその他のブログ記事