F5 AI Red Team：一度限りの関門か、継続的な取り組みか？

Keiko Cheungプロダクトマーケティングインターン | F5

AIモデルのテストを停止すると、セキュリティスコアはどうなるのでしょうか？

多くのチームは、リリース前にレッドチーム評価を実施して高いスコアを得た後は次の作業に移るため、答えは「何も起こらない」だと考えています。しかし、どの組織も、スピード、規模、そしてセキュリティという同じ3つの要素を同時に変化させています。AI機能を迅速にリリースし、信頼性を維持しながら、拡大し続けるモデル、エージェント、統合の全体にわたって、いずれも妥協することなく実現しようとしています。

しかし実際には、いずれか1つを強く推し進めると、ほぼ必ず別の1つが犠牲になります。数週間ごとに更新されるモデルをリリースするチームには、更新のたびに手動レビューへ6週間を費やす余裕はありません。そのため、先月の結果が今も有効なものとして扱われるか、検証されていないモデルが脅威にさらされたままになります。Red teamingはかつて、リリース前に済ませるチェック項目の1つでした。しかし今では、ある一時点で行う静的なテストでは、AIの脅威が進化する速さに追いつけません。

汎用的で画一的なテストでは、組織固有のワークフロー、業界、規制対応範囲に特有のリスクに対応しきれません。だからこそ、実務担当者には各組織の環境に合わせて調整されたレッドチーミングが必要です。すでに一部のお客さまは、レッドチーミングをパイプラインやインフラストラクチャに直接統合して実施しています。

CASIスコアとARSスコアが実際に測定するもの

静的テストでは、モデルが一度テストに合格したことは確認できますが、持続的、高度、または進化する攻撃に対して、そのモデルがどの程度耐えられるかまでは判断できません。そこでF5 Labsは、セキュリティチームがモデルを明確な基準で評価し、セキュリティ態勢の経時的な変化を追跡し、経営層にリスクを報告できるよう、2つの客観的な指標であるComprehensive AI Security Index（CASI）とAgentic Resistance Score（ARS）を開発しました。以下では、それぞれの指標が実際に何を測定するのかを説明します。

包括的AIセキュリティ指標（CASI） – CASIは、モデルの総合的なセキュリティを測定するために設計された複合指標です（評価手法はこちら）。攻撃の成功件数、想定される影響の深刻度、攻撃者が成功に至るまでに要した労力などを考慮します。スコアが高いほど、モデルの総合的なセキュリティ態勢が強固であることを示します。

Agentic Resistance Score（ARS）– ARSは、自律型攻撃エージェントのチームがAIシステム全体の侵害、機密情報の抽出、システムアーキテクチャの把握、モデルに対するソーシャルエンジニアリングを積極的に試みた際に、システムがどの程度耐えられるかを測定します。ARSが高いほど、1回限りの攻撃だけでなく、持続的かつ標的を絞った圧力を受けても、システムがガードレールを維持できることを示します。

CASI、ARS、F5 AI Red Teamの実際の活用方法

ほとんどのセキュリティチームは、ソースコードをスキャンする静的アプリケーションセキュリティテスト（SAST）や、稼働中のアプリケーションをテストする動的アプリケーションセキュリティテスト（DAST）といった従来のツールをすでに使用しています。しかし、いずれのツールも、アプリケーションの基盤となるAIモデルが欺かれたり、操作されたり、徐々に弱体化させられたりする可能性をテストする目的では設計されていません。

CASIスコアは測定時点では正確ですが、モデルや脅威は常に変化しています。あるテストサイクルで93前後だったモデルのスコアが、数か月後には73～77になることもあります。お客さま側ではコードを一切変更していなくても、基盤となるモデルが変化しただけで15～20ポイント変動する可能性があります。そのため、F5 AI Red Teamのお客さまの中には、CI/CDリリースパイプラインに再テストを直接組み込んでいるケースもあります。新しいモデルバージョンやファインチューニング済みのバリエーションがリリースされた場合、または一定期間が経過した場合は、前四半期のスコアが引き続き有効だと想定せず、CASIとARSのベースラインを再確認します。

CASI Leaderboardでは、主要なAIモデルのCASIスコアが前月比でどのように変化したかを追跡しています。

カスタムインテントの規制

標準的なCASIの実行では、既知の攻撃を幅広く網羅したライブラリに対するモデルの耐性を確認できますが、特定の新機能や法的要件に伴うリスクが自動的に検出されるわけではありません。たとえば、医療チャットボットへの症状チェッカーの追加や、金融エージェントへの電信送金を開始する機能の追加に伴うリスクは、いずれも汎用テストでは通常、検証対象になりません。このようなシナリオでは、特定の機能や規制要件に対象を絞ったカスタム攻撃インテントをお客さまが作成します。

たとえば、多国籍で利用される契約ツールでは、ある地域ではEU AI Actの義務に照らしてテストし、別の地域ではまったく異なるPII基準に照らしてテストする必要があるかもしれません。カスタムインテントを使用すると、一般的なテスト範囲に頼るのではなく、コンプライアンスを証明するために必要な特定のルールや機能をチームがテストできます。

社内レッドチームの中核拠点を構築

一部の大規模組織（少なくとも大手法律事務所1社を含む）では、さらに一歩進め、社内の他部門向けにAIアプリケーションのレッドチーム演習のみを担う、小規模な専任チームを設置しています。このチームは、組織の脅威状況とCASIおよびARSの結果を把握し、新たなAI機能の開発に際して、製品管理チームや脆弱性管理チームと直接連携します。

セキュリティチームはCASIの結果をアプリケーション開発者と共有し、すべてのモデルが同じセキュリティ態勢を備えているわけではなく、同じだと想定すればリスクを見落とすことになる、というシンプルな点を伝えます。これにより、モデルレベルのリスクを意識する機会がない可能性のあるInfoSecチームとDevOpsチームの間の知識格差を解消します。

ここで重要なのは、脅威の状況が、多くのセキュリティチームが手作業で対応できる速度を上回って変化しているという点です。AIレッドチーミングは継続的な取り組みであり、保護対象のシステムと同じペースで進化させる必要があります。そのためには、次のことが求められます。

• 継続的に実施する：数週間にわたる手動のテストでは、モデルやエージェントの急速な変化に対応できません。
• リスクの発見から修正までのギャップを縮小： レッドチームの結果を修正対応に直接反映することで、テストを単なる静的なレポートではなく、実際のリスクに対する迅速かつ優先順位に基づく対応を促すものへと変えます。
• セキュリティチームが取り組みの成果を証明できるようにする：評価を実施するたびにCASIスコアとARSスコアが算出されるため、チームは客観的かつベンチマーク可能な方法でセキュリティ態勢の推移を追跡し、リスクを経営層に明確に伝えられます。

現在、セキュリティを取り巻く環境は予測を上回る速さで変化していますが、F5 AI Red Team、CASI、ARSを活用することで、セキュリティチームは脅威情報に基づく継続的なガードレールを確保できます。

詳細については、F5 AI Red TeamおよびF5 Labs CASI and ARS LeaderboardsのWebページをご覧ください。

著者について

Keiko Cheungプロダクトマーケティングインターン | F5

Keiko Cheungのその他のブログ記事