2020年以降のAI利用の爆発的な拡大は、前例のないものです。AIはクラウドやモバイルを上回り、インターネットの普及時と比べても明らかに速いペースで普及しています。Gartnerは、今年、80%を超える企業がAIを導入すると予測しています。
企業のAI導入の過程を成熟度で分類すると、4つのカテゴリーに分けられます。これらは順番に進むのではなく、並行して進むことがよくあります。
- カテゴリー1は、汎用AIと生産性向上です。従業員によるChatGPT、Gemini、Copilotなどの利用がこれに当たります。
- カテゴリー2は、人事やITなどの部門向けに独自のチャットボットを構築するなど、組織が社内向けにAIを活用するケースです。
- カテゴリー3には、一般向けの生成AIアプリケーション(カスタマーサービス用チャットボットなど)の構築といった外部向けユースケースが含まれます。
- カテゴリー4は、エージェント型ワークフローです。ユーザーに代わって自律的に行動する複雑なシステムで構成されます。
このうち、後半の3つのカテゴリーでは、セキュリティが極めて重要になります。これは、組織が非決定論的なAIモデルを基盤に複雑なソフトウェアを構築することで、従来のファイアウォールでは検知できない脆弱性が生じるためです。
“AIを導入する企業は、最低限の基準を確立するだけでも、既知の脆弱性に対する迅速な自動テストを必要としていることは明らかです。”
セキュリティは常にビジネスの優先事項ですが、AIでは懸念の性質が異なります。AIはセキュリティの盲点となっているのです。セキュリティリーダーは20年にわたり、Webアプリケーションファイアウォール(WAF)を導入・設定し、WebアプリケーションやWebサイト、さらにはAPIも保護してきました。しかし、WAFは非常に有用である一方、AIに関しては限界があります。AIで使われる自然言語処理は、従来のWAFによる検知では問題となる可能性があります。端的に言えば、会話をファイアウォールで防御することはできません。企業には、あらゆる場所のアプリとAPIを保護し、どこにあってもAIのセキュリティを確保するための新たなアプローチが必要です。
こうした背景から、CISOの75%がAIセキュリティインシデントを報告しています。既存の防御策は、こうした脅威を検知するようには設計されていないのです。同じ理由から、91%がすでにAIインフラストラクチャへの攻撃の試みを検知しており、実に94%が現在、AIシステムのテストを優先しています。
認知攻撃の新たなカテゴリー
AI時代に組織が対処すべき課題は、コードの脆弱性だけではありません。次のような、まったく新しいカテゴリーの認知攻撃にも直面しています。
- プロンプトインジェクション(直接的・間接的の両方)
- データポイズニング(学習フェーズ中)
- 高度なジェイルブレイク手法(記号言語を用いた攻撃など)
- トークン圧縮:攻撃者が、AIモデルには読み取れても人間には読み取れない形式で悪意のある指示を隠す手法
従来のセキュリティガードレールは決定論的な入力に対処しますが、プロンプトインジェクションなどの自然言語による攻撃は、パターンマッチングではなく意味解釈の問題です。これらは個別のバグではなく、AI駆動型アーキテクチャがもたらす構造的なビジネスリスクです。
AIが脅威モデルをどのように変えているかを示す実例は数多くあります。昨夏、国際的に事業を展開するソフトウェアプロバイダーで発生した情報漏洩は、MCPサーバーのテナント分離ロジックの欠陥に起因し、組織間でデータが露出する事態を招きました。これは典型的なマルチテナント環境のバグですが、LLMシステムでは危険性がさらに高まります。漏洩したデータが流暢な言語表現として現れるため、検出がはるかに難しくなるからです。
一方、あるグローバルなテクノロジー企業で発生したインシデントは、信頼境界の破綻という別の問題を示しました。プロンプトインジェクションによってチャットボットの役割が再定義され、バックエンドシステムはサーバー側で認可を実施せずに、チャットボットからのツール利用リクエストを信頼していました。問題はモデルがルールを無視したことではなく、認可が不適切にモデルへ委譲されていたことでした。
これらは、新たに広がりつつある、はるかに広範なリスクの状況を示す2つの事例にすぎません。業界では、こうしたAIの脆弱性の分類を急いでいます。OWASP Top 10 for Large Language Model (LLM) Applications、OWASP Top 10 for Agentic Applications、Mitre Atlas、NIST AI Risk Management Frameworkといったフレームワークが登場していますが、セキュリティが確保された状態とは具体的にどのようなものかを示す、決定版といえるデータベースや統一基準はまだありません。
従来のアプローチでは対応しきれない
今や産業界にとって、AI導入への圧力は存続を左右するほどのものとなっています。開発者はAIを活用し、これまでの10倍の速さでコードを記述しています。企業は文字どおり一夜にして新機能を、さらには製品までもリリースしています。
同時に、コンプライアンス面では、規制が対応の加速を促しています。EU AI法は、例えば、高リスクAIシステムおよび汎用AIシステムに対する敵対的テストを明示的に求めています。実務上、これは、目的に特化したレッドチーミング、つまり模擬的な敵対的攻撃によるAIシステムのテストを、これらのシステムが現実に直面する課題に対処する形で、AIセキュリティスタックの中核的な構成要素として位置付ける必要があることを意味します。
CISOやセキュリティチームが、マシンスピードで進む変化に対応してセキュリティを確保しようとすると、バケツで津波を食い止めようとしているように感じることがあります。規模の面でも、速度の面でも、対応しきれません。AIの攻撃対象領域は根本的に異なり、従来のアプローチでは追いつけないのです。
従来のレッドチーミングが有効ではなく、スピードと制御の間にあるトレードオフを解消するにはAIレッドチーミングが必要であることは明らかです。お客さまとの対話やAIシステムのセキュリティ確保への支援を通じて、検討すべき4つの重要な領域が見えてきました。
第1に、脅威の進化です。AI攻撃の進化は、静的なテストスイートの更新を上回る速さで進みます。チェックを自動化しても、すぐにAIモデルや攻撃が変化し、セキュリティチームはリスクを低減するのではなく、テストの保守に追われることになります。
2つ目は、エージェントの複雑さです。AIエージェントは決定論的なシステムではないため、検索、ツール、メモリを追加すると、組み合わせはほぼ無限になります。もはやテスト対象はコードではなく、コンテキストに応じて変化する会話です。
3つ目は、自動化と規模への対応です。こうしたシステムでは、手作業によるレッドチーミングでは規模の拡大に対応できません。チャットボットが1つなら対応できるかもしれませんが、数百、数千となると対応できません。モデルやシステムプロンプトを更新するたびに、攻撃を意図した数千もの会話を人手で再現することは現実的ではありません。
最後に、対処につながるレポートです。検出結果は、再現可能で、具体的な対処につながるものでなければなりません。「ボットが不適切に動作した」というだけでは対処できません。エンジニアには、会話のパラメーターと問題を引き起こす条件が必要です。これらがなければ、修正や是正措置が滞ります。
攻撃を受けても、AIが意図どおりに動作するように
具体例を通じて、実情を確認しましょう。F5のお客さまの1社に、厳格な規制環境下で事業を展開するグローバル銀行があります。同行との取り組みを開始した当初、人事、調達、サイバーセキュリティの各分野で50を超えるAIのユースケースがありました。しかし、内部監査人に安全性を証明できず、どれも実運用に移せない状況でした。
AIレッドチーミングにF5 AI Red Teamを活用することで、同行は、AIシステムが実際にどのように動作するのかを把握するために必要な証拠を得ました。具体的には、同行の環境でデータがどこから漏えいする可能性があるか、プロンプトがどのように悪用され得るか、制御がどこで機能しなくなるかを把握できました。
このお客さまは、AI Red Teamの調査結果を基に、F5 AI Guardrailsを使用したカスタムのセキュリティ制御で防御態勢を改善しています。この組み合わせにより、同行はセキュリティ態勢とガバナンスプログラムに自信を持ち、事業全体でAIの活用を拡大できます。
公共部門では、テストは自主的な取り組みから義務へと変わります。NISTやCISAなどの機関の指針に基づき、公共機関は、生物学的データの兵器化など、任務遂行に関わる重大なリスクを特定するため、敵対的ストレステストなどの対策を進めています。ここでのAIレッドチーミングは、単にリスクを低減するだけでなく、任務の継続性と運用認可を維持するための取り組みです。
顧客データを保護する場合も、公共サービスを保護する場合も、求められることは同じです。AIシステムを破綻させようとする者がいても、システムが意図どおりに動作することを、証拠に基づいて継続的に保証する必要があります。
コンプライアンス上のギャップを解消
AIを導入する企業には、ベースラインを確立するだけでも、既知の脆弱性に対する迅速な自動テストが必要であることは明らかです。コンテキストは新たな攻撃対象領域であり、静的な防御ではエージェント型の攻撃に対処できないため、組織はモデルだけでなくワークロードをテストする必要があります。
これらは、セキュリティチームが今まさに解消に取り組んでいる現実の課題であり、AIレッドチーミングが注目を集めている理由でもあります。こうした環境では、コンプライアンスが競争優位性につながります。適切なレポートがあれば、セキュリティは障壁ではなく、企業のAIの市場投入を加速する推進力となります。
そのような環境では、今年AIの導入を計画している多くの企業が、取り組みの段階を問わず、不安ではなく自信を持って導入を進められます。
AI Red Teamが継続的な敵対的テストをどのように加速するか、F5のエキスパートによる解説動画をこちらからご覧ください。
著者について


関連するブログ記事

経営幹部が抱くAIに関する4つの誤解
AIに関する誤解は数多くあります。ここでは、組織が自社環境にAIを導入する際に見直す必要があるかもしれない4つの誤解を紹介します。

IT/OTコンバージェンスの現状と、セキュリティを最優先すべき理由
ITシステムとOTシステムの融合が進むにつれ、攻撃対象領域は拡大します。組織が安全に統合する方法と、F5 ADSPが大規模な運用の保護にどのように役立つかをご紹介します。

AIのレイテンシ:セキュリティを犠牲にできない理由
AIのレイテンシは、単なる速度の問題ではありません。パフォーマンス、セキュリティ、信頼性のバランスを取ったシステム設計が重要です。

AIアプリケーションを大規模に提供する:ADCの役割
AIアプリケーションを確実に提供するには、高速なモデルや柔軟に拡張できるインフラストラクチャだけでは不十分です。AIアプリケーションの利用方法を管理するための制御レイヤーが必要です。

MCP:AI対応のアプリケーションデリバリを実現する鍵
Model Context Protocol(MCP)は、最新のアプリケーションにおける安全で低遅延なAI統合を可能にします。将来を見据えたアプリケーションデリバリ戦略にMCPが不可欠な理由をご覧ください。

AIガードレールとは?基盤モデルプロバイダーの枠を超えて進化する安全対策
急速に変化する組織の脅威領域におけるリスクをより包括的に捉えるために、AIガードレールの進化が必要な理由をご覧ください。