敵対的AI

敵対的AIとは

組織が、一貫した出力精度、専有データの保護、信頼性の高いサービスを通じて、自社のAIシステムに対する顧客や社会からの信頼構築に取り組む一方で、敵対的AI攻撃はエンタープライズアプリケーションにとって深刻化する脅威となっています。こうした攻撃は信頼を支える重要な柱を直接揺るがし、AIの出力に対する信頼の低下、プライバシー侵害、重要な業務の中断を引き起こします。敵対的な手法が進化し続けるなか、AIシステムのセキュリティ確保は、現代のサイバーセキュリティ戦略に欠かせない要素となっています。

敵対的AIの仕組み

敵対的AIは、トレーニングまたは推論の段階で機械学習システムの脆弱性を悪用します。攻撃者は、多くの場合、人間には知覚できない悪意のある入力を作成し、モデルの学習方法や動作を操作することで、不正確または有害な出力を生成させます。こうした攻撃の動機には、金銭的利益、不正行為、競合相手への妨害、または広範な影響力を持つこれらのシステムに特定のバイアスを組み込もうとする思想的な意図などがあります。

敵対的入力では、データにわずかな変更を加えます。多くの場合、その変更は人間には認識できませんが、攻撃者はこれを利用して機械学習モデルを操作できます。こうした操作は、ホワイトボックス攻撃と呼ばれる手法でシステムの内部情報を利用するか、ブラックボックス攻撃でシステムの挙動を調査し、脆弱性をリバースエンジニアリングすることで実行できます。攻撃者は、勾配ベースの最適化や摂動解析などの手法を通じて、トレーニングデータ、モデルの挙動、アーキテクチャなどの重要な情報を明らかにし、それを悪用してシステムを侵害します。

敵対的AIの実例としては、データポイズニング攻撃や回避手法が挙げられます。ポイズニング攻撃では、トレーニングデータセット内の不正取引のラベルを反転させて正当な取引に見せかけたり、信頼できるデータソースに虚偽のニュース記事を混入させて誤情報を拡散したりする可能性があります。推論時の回避攻撃では、画像をピクセル単位で改変して認識システムを欺いたり、メタデータを変更してAIを活用したコンテンツモデレーションツールを回避したりする可能性があります。

敵対的AIのリスクが重要な理由

敵対的AIは、AIシステムを攻撃対象に変えます。敵対的手法は、ソフトウェアの欠陥を悪用するのではなく、モデルへの入力や動作を操作し、AIシステムに誤った判断や安全性を欠く判断をさせます。セキュリティ、不正検知、アクセス制御、自動化にAIを利用する企業では、こうした不具合によって中核的な防御機能が損なわれる可能性があります。

攻撃によってモデルの障害や誤分類が発生し、悪意のある活動が無害と判断されたり、正当な動作がブロックされたりする可能性があります。また、敵対的手法によって、AIを活用したセキュリティ制御が回避され、モデルの出力や推論を通じて機密データが漏えいするほか、監視および対応ワークフローの有効性が低下する可能性もあります。こうした障害は、評判の低下や規制上のリスクを招き、お客さま、パートナー、社内関係者からのAIシステムに対する信頼を損ないます。

AIの利用が容易になり、重要なシステムへの組み込みが進むにつれて、敵対的AIの脅威が拡大しています。広く利用可能になったAIツール、オープンソースモデル、モデルの透明性の限界により、攻撃者にとっての障壁が低下する一方、防御側の死角は増えています。同時に、重大な影響を伴う意思決定やその自動化にAIが使われる機会も増えており、操作による潜在的な影響が拡大しています。

今後、AIを活用した敵対的コンテンツの生成やツールの進化に伴い、攻撃はさらに自動化され、高度化すると予想されます。規制当局による監視も強まる一方、モデルの複雑化やサプライチェーンへの依存により、透明性と制御の維持が難しくなっています。そのため、敵対的AIのリスク管理は、セキュリティを確保しながらエンタープライズ規模でAIを導入するうえで、中核的な要件となりつつあります。

ホワイトボックス型とブラックボックス型の敵対的攻撃

悪意のある攻撃者がモデルの挙動を悪用する際には、ホワイトボックス攻撃とブラックボックス攻撃という2つの基本的なアプローチを用います。両者の決定的な違いは、攻撃者が標的の内部動作をどの程度把握しているかにあります。ホワイトボックス攻撃では、攻撃者はモデルのアーキテクチャ、重み、その他の重要情報に全面的にアクセスできるため、精緻な戦略を立てることができます。一方、ブラックボックス攻撃では、標的に関する詳しい知識を持たない攻撃者が、モデルの挙動の抽出や再現、弱点の特定、ガバナンスポリシーの回避を目的として、公開エンドポイントやAPI接続されたエンドポイントに対し、試行錯誤を繰り返しながらクエリを送信します。

敵対的AI攻撃の一般的な種類

敵対的AIは、敵対的機械学習（敵対的ML）と敵対的ターゲティングを包含する包括的な概念であり、AI駆動型システムの操作、回避、侵害に用いられる幅広い手法を指します。敵対的MLはモデルの学習と推論における弱点の悪用に重点を置く一方、敵対的ターゲティングは、これらの手法を用いて、AIに依存する実環境のシステムにおける特定の結果や意思決定に影響を及ぼします。

総じて、敵対的AIは、機械学習モデルがデータに依存しており、その多くが一般公開されているシステムや外部システムから取得される点を悪用することで、従来のサイバーセキュリティ上の課題を深刻化させます。こうした手法により、攻撃者はAIベースの認証を回避したり、脅威検知をすり抜けたり、レコメンデーションエンジンを操作したりできるため、ボット対策、不正検知、APIなどの領域でAIを活用するアプリケーションに重大なリスクをもたらします。敵対的AIは、説得力のあるユーザーペルソナを模倣し、検知の回避を目的として特別に設計した入力を作成することで、AIを活用したWebアプリケーションファイアウォール（WAF）や行動分析ツールなど、重要なシステムの脆弱性を高めます。さらに、攻撃者は次のような手法でモデルを侵害する可能性があります。

• データポイズニング：トレーニング段階で破損したデータや誤解を招くデータを注入し、モデルの完全性を損なう手法。
• モデル操作：モデルの動作を改変し、誤分類や不正確な予測を引き起こすこと。
• 回避手法：推論時にAIシステムを欺き、誤った判断をさせるよう設計された、検知されにくいパターンの実装。
• プロンプトベースのLLM攻撃：大規模言語モデルに対する敵対的プロンプト、ジェイルブレイク、標的型の操作。

敵対的AI攻撃への対策方法

敵対的AI攻撃を防ぐには、モデル設計、データパイプライン、検知、継続的な検証にわたる多層的なアプローチが必要です。

• 敵対的学習と堅牢性チューニングによるモデルの強化：敵対的学習では、モデルのレジリエンスを高めるため、学習中に改変された入力や悪意のある入力を意図的に与えます。堅牢性チューニング、モデル蒸留、防御的アーキテクチャなどの手法は、敵対的ノイズに対する感度を低減し、悪用可能な挙動を抑えるのに役立ちます。
• 入力を検証する：入力のサニタイズと正規化では、形式、エンコーディング、値の範囲を標準化することで、敵対的操作のリスクを軽減します。異常検知と入力空間の制約は、不審なデータや分布外データがモデルに到達する前に特定するのに役立ちます。
• データパイプラインを保護する：強力なアクセス制御、データ検証、来歴追跡により、学習データと推論データをポイズニングや改ざんから保護します。安全なデータ管理により、侵害されたデータや信頼できないデータがモデルの動作に影響を及ぼさないようにします。
• 本番環境のモデルを監視：継続的な監視により、パフォーマンスの低下、コンセプトドリフト、敵対的な活動を示す可能性のある異常な出力を検出します。不審なやり取りやモデルの判断をログに記録することで、調査とインシデント対応を支援します。
• モデルのテストとストレステストを継続的に実施する：敵対的テスト、AIペネトレーションテスト、LLMおよびAIレッドチーミングでは、実際の攻撃をシミュレーションして弱点を特定します。定期的なストレステストにより、モデル、脅威、ユースケースの進化に伴っても、防御策が引き続き有効であることを確認します。

F5が敵対的AIから保護する仕組み

The F5 Application Delivery and Security Platform（F5 ADSP）は、増大するAIセキュリティ脅威の課題に対応する統合ソリューションを提供します。アプリケーションデリバリとセキュリティサービスを単一の拡張可能なプラットフォームに統合することで、F5はアプリケーション、API、重要なシステムを比類のないレベルで保護します。その堅牢な機能により、トレーニングから推論まで、AIライフサイクル全体にわたる脆弱性から保護し、組織がハイブリッド環境やマルチクラウド環境でリスクを効果的に管理し、信頼性を確保できるようにします。

F5 AI Gatewayは、AIモデル、エージェント、ツールへのアクセスを管理する一元的な制御ポイントを提供し、組織がAIとのやり取り全体で一貫してポリシーを適用できるよう支援します。F5 Workforce AI Securityは、承認済みおよび未承認のAI利用全体に可視性とガバナンスを拡張し、組織によるシャドーAIの特定、従業員全体でのAI利用状況の把握、機密データの保護を支援します。F5 AI GuardrailsおよびF5 AI Red Teamとともに、これらの機能はF5 AI Security Platformの一部を構成します。アプリケーション、API、分散環境全体をより広範かつ比類のないレベルで保護するため、F5 ADSPは、WebアプリケーションおよびAPIの保護、ボット管理、DDoS緩和、アプリケーションデリバリーなどの機能も統合しています。

よくあるご質問

敵対的AI攻撃と従来のソフトウェアバグの違いは何ですか？

敵対的AI攻撃と従来のソフトウェアバグの違いは、ソフトウェアバグが望ましくない動作を引き起こすコード上の偶発的な問題であるのに対し、敵対的AI攻撃はAIシステムを意図的に操作し、悪用しようとする試みである点です。

ホワイトボックス型とブラックボックス型の敵対的攻撃には、どのような違いがありますか？

ホワイトボックス型とブラックボックス型の敵対的攻撃の違いは、攻撃者が持つ知識にあります。ホワイトボックス型では、攻撃者はモデルのアーキテクチャ、トレーニングデータ、パラメーターなどを詳細に把握しています。一方、ブラックボックス型の攻撃では、悪意のある攻撃者は標的モデルの内部動作を把握していません。その代わりに、公開エンドポイントやAPI接続されたエンドポイントを調査して弱点を見つけ、攻撃戦略を策定します。

回避攻撃とデータポイズニング攻撃の違いは何ですか？

回避攻撃とデータポイズニング攻撃の決定的な違いは、発生するタイミングです。データポイズニング攻撃では、トレーニング段階で有害なデータを挿入したり、正規のデータを悪意を持って改変したりします。一方、モデルを操作して許可されていない動作を強制する回避攻撃は、推論段階で発生します。

敵対的攻撃はLLMをどのように標的にするのか

攻撃者は、プロンプトインジェクション、ジェイルブレイク、悪意のあるコンテキストデータ、モデル抽出、接続されたデータベースやツールを狙う攻撃などの手法を用いて、LLMを標的にします。

敵対的学習とは何ですか。また、モデルの堅牢性をどのように強化しますか？

敵対的トレーニングでは、トレーニング中に一般的な攻撃手法をモデルに経験させることで、モデルの堅牢性を高めます。これにより、敵対的な操作が行われた際に、それを認識して適切に対応できるようモデルをトレーニングできます。

本番環境のAI APIを実行時の敵対的脅威から保護するには？

AI APIを実行時の敵対的脅威から保護するには、すべてのAPIエンドポイントを検出してシャドーAPIを特定し、最新のAI API脅威に対応した脅威検知機能を適用するとともに、インラインセキュリティ機能を含む堅牢な保護を実装できる一元的なソリューションが必要です。APIのリスクをリアルタイムかつ大規模に軽減するには、継続的な可視化、監視、異常検知が不可欠です。

推論時およびランタイムにAIシステムを保護するには？

推論時およびランタイムにAIシステムを保護するには、プロンプト、応答、エージェントのアクション、ツールの使用を、インタラクションの発生時に検査する制御が必要です。AIに特化したランタイムセキュリティは、プロンプトインジェクションのブロック、機密データの漏えい防止、ポリシーの適用に加え、モデルやエージェントがユーザー、データ、接続されたツールとどのようにやり取りするかの管理に役立ちます。