AIエージェントは、タスクを自律的に完了するように設計されており、運用者が想定していなかった方法で目標を達成する手段を見つけることも少なくありません。最近のインシデントから、割り当てられたタスクを完了しようとするエージェントが、予期せず重要なデータを露出させたり、望ましくないワークフローを起動したりする可能性が明らかになっています。
こうしたインシデントには、必ずしも悪意のある動作や侵害されたモデルが関与しているわけではありません。エージェントが正当な目的を追求していても、アクセス、実行、共有できる対象を適切に制御しないまま動作すると、リスクが生じる可能性があります。その結果、攻撃者が一切関与していなくても、機密データが一般に公開され、悪意のある者の目に触れる可能性もあります。
この種のリスクの2つの事例は、F5 Labsの10月版AI Security Insightsレポートで取り上げています。この月次レポートでは、F5 LabsのAIセキュリティ リーダーボードを通じてモデルのレジリエンスを検証するとともに、AIシステムに影響を及ぼす新たな脅威、脆弱性、セキュリティ インシデントを分析しています。また、AIセキュリティに関する新たな脅威やインシデントも検証しており、今月は、正当なタスクを遂行するエージェントが、外部の攻撃者の関与なしに機密情報を露出させた2つの事例を取り上げています。これらのインシデントは、モデルの脆弱性だけでなく、エージェントの振る舞いや、その行動を管理する制御からもセキュリティ リスクが生じ得ることを示しています。
“10月の調査結果は、CISOにとって実務上重要な教訓を改めて裏付けています。モデルのレジリエンス、エージェントの動作、AIの導入・運用に関わる制御は、一体として評価する必要があります。”
意図せざる結果の法則に留意する
こうしたインシデントの1つである最近のPixelLeakでの情報露出は、適切なセキュリティ制御が適用されていない場合に、自律型エージェントの動作に伴うリスクを浮き彫りにしています。AIコーディングエージェントには、開発者の作業前後のスクリーンショットをプルリクエストに添付するタスクがよく割り当てられます。しかし、独自の知的財産であり、機密情報を含む可能性もある画像をGitHubの公開リポジトリで公開することで、そのタスクを実行するとは誰も予想していませんでした。
エージェントは、画像ホスティングサービスへのアクセスに、人間が使うブラウザーインターフェイスではなく、コマンドラインインターフェイス（CLI）を使用します。非公開のプルリクエストにコマンドラインで画像を追加する方法がなかったため、エージェントは、レビュー担当者がリンク切れに遭遇しないようにするには、代わりに公開リポジトリを作成する必要があると判断しました。一部の開発者は、公開リポジトリの作成に関連するオープンソースのスクリーンショット公開ツール、gitshotも使用していました。調査によると、影響を受けた組織の約3分の1で、開発者がこのツールを使用していました。
13,000件を超える社内のスクリーンショットや録画が900を超える公開GitHubリポジトリで露出し、300を超える組織に影響が及びました。あるソフトウェアベンダーでは、1週間以内に十数体を超えるエージェントが、この回避策を再利用可能なスキルとしてコード化していました。より広い観点でのセキュリティ上の問題は、エージェントが通常の企業の監督が及ばないところで、機密情報を含む可能性のある資料を公開リポジトリに公開できたことです。影響を受けたリポジトリの93%が個人アカウントにあったという調査結果は、想定されたワークフローや開発者の指示だけに頼るのではなく、エージェントがデータを公開できる場所を制限する管理策を徹底することの重要性を示しています。
10月に報告された別のインシデントでは、共有AIエージェント環境でのデータ露出に懸念が生じました。当事者の報告によると、Grokを搭載したパーソナルアシスタントエージェントが情報を公開した先は、所有者自身も参加する業務用Slackチャンネルで、その内容は所有者の個人的な財務情報でした。このGrokボットは、所有者の銀行口座を読み取り専用で監査し、支出を分析して、毎月結果を報告する想定でした。重要なのは、このエージェントにはSlackへの接続がなく、別の手段で所有者に監査結果を送る想定だったという点です。
ところが、所有者の財務情報は、本人が投稿したかのように勤務先のSlackチャンネルに表示され、同僚が指摘するまで2時間にわたって公開されていました。この報告の真偽はまだ確認されていませんが、現実的なセキュリティ上の懸念を浮き彫りにしています。複数のエージェントが同じ環境内で認証情報、セッション、または外部サービスとの連携を共有している場合、エージェント単位の権限では十分な分離を確保できない可能性があります。
財務ボットにはSlackへのアクセス権がありませんでしたが、同じアカウントの別のボットにはアクセス権があり、ユーザーのすべてのボットはリソースを共有しています。実際、SpaceXAIのドキュメントでは、ボットを分けることをセキュリティ境界として利用しないよう明確に警告しています。報告されたインシデントは、共有環境においてエージェントごとの権限で十分に保護できるのかという疑問を投げかけています。エージェントが共通の認証情報、セッション、リソースにアクセスできる場合、組織は実効性のある分離と認可制御が適用されているかを評価する必要があります。
攻撃者がいなくてもリスクはある
これらのインシデントは、重要な違いを示しています。モデルが敵対的攻撃への耐性を備えていても、そのモデルを基盤とするすべてのアプリケーションやエージェントのセキュリティが確保されているとは限りません。モデルのレジリエンスは重要な検討事項ですが、セキュリティは、導入されたAIシステムを管理する権限、連携、制御にも左右されます。
F5 LabsのComprehensive AI Security Index (CASI)は、プロンプトインジェクションやジェイルブレイクなどの敵対的攻撃に対するモデルの耐性を測定します。Agentic Resistance Score (ARS)は、複雑な複数ステップのエージェント型攻撃に対するレジリエンスを評価します。どちらも敵対的攻撃に対するレジリエンスを示す貴重な根拠となりますが、デプロイされたエージェントに関わるすべての権限、連携、実行制御を評価することを目的としたものではありません。
この区別が重要なのは、エージェントがコネクタ、認証情報、共有リソース、権限を含む、より広範なシステムの中で動作するためです。10月の調査は、こうした周辺の制御の弱点が、攻撃者がいなくても意図しない情報開示につながり得ることを示しています。また、GitSpawnやGitLab AI Gatewayの脆弱性など、必要な場面で信頼境界や実行境界が適切に適用されず、攻撃者が悪用できるケースも特定しています。共通する教訓は、リスクのあるアクションが、正当なタスクを遂行するエージェントによるものか、弱点を悪用する攻撃者によるものかにかかわらず、セキュリティ境界が有効に機能しなければならないということです。
CISOにとって、これはモデルだけでなく、それを取り巻く仕組みも評価する必要があることを意味します。脅威モデリングでは、アイデンティティ、認可、ツールへのアクセス、共有環境、自律的な行動がもたらす影響など、エージェントのアーキテクチャ全体を対象とすべきです。悪意のある侵入を主な対象とする検知手法では、正当な権限を持つエージェントが実行する有害な行動も見逃す可能性があります。モデルレベルで敵対的な攻撃に対する高いレジリエンスを備えることは重要ですが、それだけでは、導入済みエージェントが何にアクセスし、何を実行し、何を開示してよいかについて、制御を適用し、監視することの代わりにはなりません。
攻撃に起因しないリスクから組織を保護
これらの調査結果は、組織がエージェントの想定された動作やモデルのセキュリティスコアだけに頼れない理由を示しています。CISOは、自律型エージェントが取り得るすべての行動を予測することはできません。しかし、強制適用可能な境界を設定し、検証することで、予期しない動作の影響を軽減できます。注目すべき領域は次の5つです。
- AIセキュリティの定義を広げる。モデルのレジリエンスに加え、エージェントのアイデンティティ、認可、分離、リソースへのアクセス、実行環境を含む、AIシステム全体のセキュリティも評価してください。これらは別個のセキュリティ評価ですが、相互に補完するものです。
- AIインフラストラクチャ全体を考慮する。AIゲートウェイ、テンプレートエンジン、エージェントオーケストレーションサービスを、資産インベントリ、脆弱性管理、パッチ適用プロセス、特権アクセスのレビューの対象に含めてください。10月にGitLab AI Gatewayで発見された問題は、これらのコンポーネントをセキュリティ上重要なインフラストラクチャとして扱わなければならない理由を示しています。
- 技術的な境界を厳格に適用する。 特にエージェント間でリソースを共有する場合、プロンプトの指示やエージェント固有の設定は、実効性のある分離と認可の代わりにはなりません。エージェントが成果物を公開できる場所を制限し、エージェントが作成した再利用可能なスキルをレビューし、エージェントのアクションが実際に何を生み出すかを監視してください。
- 実行前に制御を検証する潜在的に危険な操作が可能になる前に、信頼と承認に関する制御が機能することを確認してください。10月のGitSpawnに関する調査結果では、リポジトリの設定によって、エージェントの起動中に、関連する信頼チェックよりも前に、モデルによるツール呼び出しなしでコード実行が引き起こされる可能性がありました。これを踏まえ、起動時の動作、開発者エンドポイントの権限、ソフトウェアサプライチェーンの経路を確認してください。
- モデルとエージェント環境の変化に応じた再評価10月のCASIの結果では、同じファミリー内でも差が見られ、GPT-6 Lunaは93.52、Astraは89.62、Solは88.22でした。そのため、モデルの各バリアントについて個別にセキュリティを評価する必要があります。また、重要な変更を加えた後は、エージェントの権限、連携、インフラストラクチャも再評価してください。F5 AI Red Teamなどの敵対的テストは弱点の特定に役立ちますが、エージェントの動作を統制する運用上の制御の確認も併せて行う必要があります。
10月の調査結果は、CISOにとって実践的な教訓を改めて示しています。モデルのレジリエンス、エージェントの動作、AI導入環境を取り巻く制御を併せて評価する必要があります。敵対的攻撃に対するレジリエンスのスコアが高くても、権限、連携、インフラストラクチャに起因するリスクがなくなるわけではありません。
Read the 10月のF5 Labs AI Security Insightsレポートを読み、CASIとARSの最新結果、新たな攻撃手法、AIシステムの脆弱性に関する分析をご確認ください。
組織の保護にF5 AI Security Platformがどのように役立つかをご覧ください。また、先月のF5 Labs脅威インテリジェンスに関するインサイトブログもぜひお読みください。このブログでは、モデルの導入前と導入後の両方でCISOが評価する必要のある、さまざまなセキュリティ指標に焦点を当てています。
著者について
Malcolm Heathは、F5 Labsの主席脅威リサーチャーです。これまで、大企業から小規模企業までさまざまな企業で、インシデント対応、プログラム管理、ペネトレーションテスト、コード監査、脆弱性調査、エクスプロイト開発に携わってきました。F5 Labsに加わる前は、F5 SIRTのシニアセキュリティエンジニアを務めていました。
Malcolm Heathのその他のブログ記事Louise Scullyは、F5でAIセキュリティおよび脅威インテリジェンスのプロダクトマーケティング担当シニアマネージャーを務めています。AIセキュリティとエンタープライズテクノロジーの分野で、プロダクトマーケティング、プロダクト管理、市場投入戦略、コミュニケーション、ソートリーダーシップ、カテゴリー開発に携わってきました。F5入社以前は、CalypsoAIとArtomatixでマーケティングを統括し、AI技術と研究成果の市場展開に貢献しました。
Louise Scullyのその他のブログ記事関連するブログ記事
F5 LabsのAIセキュリティモデルに関する知見：攻撃者がいなくてもAIエージェントがデータを漏えいさせるとき
無害なタスクを実行しようとするエージェントでも、その動作範囲の制限が適切に適用されていなければ、予期せぬデータ露出やビジネスリスクにつながる可能性があります。
マルチモデルAIのセキュリティ戦略：今すぐ実行すべき2つのステップ
エージェント型AIが急速に拡大する中、マルチモデルAIの可視性とサイバーセキュリティを向上させるために、企業が今すぐ実行できる主な対策をご紹介します。
セキュリティリーダーシップを再構築する3つの力：分散AI推論、脅威の進化、ハイブリッドマルチクラウド
セキュリティ環境を急速に変化させている最新のAIトレンドをご覧ください。
SecOpsはAIをどう捉えているのか？パート2：データ保護
F5は、AIに対する考えについてRedditに投稿されたセキュリティ専門家の意見を包括的に分析しました。
IL5/6だけでは守れない：プロンプトインジェクションが読み取り専用LLMを脅かす
LLMが米国国防総省のIL5/IL6環境に統合される中、F5のソリューションがデータを保護し、インジェクション攻撃を防止して、ゼロトラストモデルを強化する仕組みをご紹介します。