F5 AI Red Team

手動のAIレッドチーミングでは、人間の専門家が創造的な手法でAIシステムを調査し、脆弱性を探ります。一方、自動レッドチーミングでは、ツールやスクリプトを使用して大規模かつ体系的にテストします。最適なアプローチは両者を組み合わせることです。自動化によって包括的な範囲をカバーし、人間の専門知識を活用して、微妙なニュアンスを伴う創造的な攻撃シナリオに対応します。

敵対的テストを実施しない場合、組織はプロンプトインジェクション攻撃、データ漏えい、ジェイルブレイク、不正な出力といったリスクにさらされます。これらは、機密データの露出、ブランド評価の低下、知的財産の侵害につながる可能性があります。また、敵対的テストで得られた知見は、NIST AI Risk Management Framework（AI RMF）やEU AI Actなどのフレームワークに準拠したAIリスク管理およびコンプライアンスプログラムの策定にも役立ちます。

AIレッドチーミングは、AI/MLモデルと、プロンプトインジェクションやAI固有のジェイルブレイクなど、モデル特有の脆弱性を対象とします。一方、従来のペネトレーションテストは、ネットワーク、アプリケーション、インフラストラクチャのセキュリティ上の欠陥に重点を置きます。また、セキュリティチームが「OWASP Top 10 for LLM Applications」などのフレームワークに示されているAI固有のリスクを評価するうえでも役立ちます。

レッドチーム演習の実施頻度は、組織固有のリスク定義に加え、業界固有の要件やコンプライアンス要件によって異なります。AIを取り巻く脅威環境は急速に変化しているため、少なくとも月1回のレッドチーム演習が基準となりますが、多くのチームでは、CI/CDパイプラインの日次プロセスの一環としてレッドチームレポートを作成しています。

現時点では、F5 AI Red Teamはエージェントを使用して攻撃キャンペーンを実行しますが、その対象はエージェント自体ではなく、デプロイ済みのモデルまたはアプリケーションです。AIエージェントは本質的に、ツール呼び出しを通じて一連のタスクを実行できるモデルにすぎません。そのため、モデルで発見された脆弱性の多くは、エージェント型ワークフローにも同様に当てはまります。

Microsoft PyRITなどのオープンソースフレームワークは、カスタムのAIレッドチーミングワークフローやセキュリティ調査を支援できます。F5 AI Red Teamは、継続的に更新される攻撃データベース、マルチターンテスト、エージェント型AIのフィンガープリント、定期的なキャンペーン、レポート機能に加え、クラウド環境とオンプレミス環境に対応する導入オプションを備え、エンタープライズ規模で敵対的テストを自動化します。

F5 AI Red Teamは、検索拡張生成（RAG）対応アプリケーションについて、データ漏えい、プロンプトインジェクション、その他の敵対的な弱点が悪用される前にテストできます。その結果は、F5 AI Guardrailsを含む修復策やランタイム制御の検討に活用でき、本番環境でのAIインタラクションの保護に役立ちます。

プロンプトインジェクションは、悪意のある指示を用いてモデルやアプリケーションを操作し、本来意図された動作を無視させる攻撃です。これには、取得したコンテンツや接続先のデータを介して行われる間接的なプロンプトインジェクションも含まれます。ジェイルブレイクは、モデルの安全制御や制限を回避することを目的とした敵対的プロンプトの一種です。AIレッドチーミングでは、攻撃者が弱点を悪用する前に、モデル、アプリケーション、ワークフローがどのように操作され得るかを特定するため、両方をテストします。