CASIリーダーボードのご紹介

Lee Ennisデータサイエンス担当シニアマネージャー | F5

AIの導入は、これまでのどのテクノロジーよりも速いペースで加速しています。

当初は少数の大規模モデルとベンダーに限られていましたが、今ではオープンソースと商用のAIモデルからなる広大なエコシステムへと拡大し、それぞれに固有の利点とリスクがあります。数百万ものモデルから選択する必要がある中、AIを導入する企業には、透明性の高いリスクインサイトが必要です。これにより、各モデルが自社環境にどのような脅威をもたらすかを正確に把握できます。

F5によるCalypsoAIの買収を受け、AIおよびGRCのリーダーに主要なAIモデルごとのリスク構成に関する詳細なインサイトを提供するため、Comprehensive AI Security Index (CASI) Leaderboardをご紹介します。2018年に設立されたCalypsoAIは、AIセキュリティ研究の先駆者として、最大規模のAI脆弱性ライブラリの1つを構築し、毎月10,000件を超える新たな攻撃プロンプトを追加して定期的に更新してきました。この基盤を活用したリーダーボードのテストでは、特に人気の高いモデルとお客さまが導入しているモデルを対象に、ベースモデルとAIシステムのセキュリティを包括的に評価します。

CASIテストの仕組み

これらのツールは、本番環境に対応できるモデルを選定するというビジネスニーズに沿って開発されており、CISOや開発者がセキュリティを最優先に据えて構築できるよう支援します。リーダーボードは、AI分野にあふれる情報から重要な要素を見極め、モデルのセキュリティに関する複雑な問いを5つの主要指標に集約します。

1. CASIスコア - モデルの総合的なセキュリティを測定するために設計された複合指標（方法論は以下を参照）。
2. エージェント型攻撃耐性スコア（ARS） - モデルがAIシステム全体をどのように侵害し得るかを評価します。そのために、システムへの攻撃、情報の抽出、インフラストラクチャの侵害を行うよう訓練された自律型攻撃エージェントのチームを稼働させます。これにより、ベクトルストアから機密性の高い個人識別情報（PII）を抽出し、システムアーキテクチャを把握するとともに、明示的な指示に対するモデルのアラインメントをテストできます。
3. パフォーマンス - モデルの平均パフォーマンスは、MMLU、GPQA、MATH、HumanEvalなどの一般的なベンチマークに基づいています。
4. リスク対パフォーマンス比（RTP） - モデルの安全性とパフォーマンスのトレードオフに関する知見。
5. セキュリティコスト（CoS） - モデルのCASIに対する現在の推論コストを示し、セキュリティによる財務的影響を評価します。

F5 LabsのComprehensive AI Security Index（CASI）リーダーボード。

CASIスコアとは何か、なぜ重要なのか？

CASIは、次の複雑な問いに答えるために開発された指標です。「自分のモデルはどの程度セキュアなのか？」CASIスコアが高いほど、モデルやアプリケーションのセキュリティが高いことを示します。モデルへの攻撃やレッドチーミングに関する多くの研究では攻撃成功率（ASR）が用いられていますが、この指標では各攻撃による影響の違いが見落とされがちです。従来のASRはすべての攻撃を同等に扱うため、実態を正確に反映しません。たとえば、自転車の鍵を突破する攻撃と、核兵器の発射コードを侵害する攻撃を同列に扱うべきではありません。同様にAIでも、セキュリティが確保されていない小規模なモデルは、機密情報を求めるだけの単純なリクエストで容易に侵害される可能性があります。一方、大規模なモデルのアラインメントを破るには、自律的かつ連携して動作するエージェント型AI攻撃者など、高度な手法が必要になる場合があります。CASIは、単純な攻撃と複雑な攻撃を区別し、モデルのDefensive Breaking Point（DBP）、すなわち攻撃を成功させるために最も抵抗が少なく、必要なコンピューティングリソースが最小となる経路を特定することで、こうした違いを捉えます。

Agentic Resistance Score（ARS）：CASIを超えるモデルのストレステスト

標準的なAI脆弱性スキャンでは、モデルのセキュリティに関する基本的な見解が得られますが、実際の攻撃を受けた際にAIシステムがどのように動作する可能性があるかについては、表面的な理解にとどまります。

このギャップに対処するため、F5は高度なレッドチーミング技術である「F5 AI Red Team」を活用しています。この技術は、自律型AIエージェント群を指揮し、粘り強く高度な分析を行う脅威アナリストチームの活動をシミュレーションします。これらのエージェントは、調査、学習、適応を重ねながら、静的テストでは見落とされがちな重大な弱点を明らかにするために設計された多段階攻撃を実行します。

この厳格なテストプロセスにより、AIシステムの防御力を0～100の尺度で定量的に示す指標であるARSが算出されます。ARSが高いほど、そのシステムを侵害するには、より高度で、執拗かつ十分な知識を持つ攻撃者が必要であることを示します。複雑な攻撃シナリオから導き出されるこのベンチマーク可能な数値は、次の3つの重要なカテゴリーにわたって算出されます。

• 必要な高度性：AIを侵害するには、攻撃者に最低限どの程度の創意工夫が必要でしょうか。高度にカスタマイズされた戦略にも耐えられるのでしょうか。それとも、より単純で一般的な攻撃に屈するのでしょうか。
• 防御の持続力 – 長期にわたる適応型の攻撃を受けた場合、AIシステムはどの程度の期間、セキュリティを維持できるでしょうか。数回のやり取りで破られるのか、それとも持続的に進化する攻撃にも耐えられるのでしょうか。
• 対諜報能力 – AIが意図せず攻撃者の学習を助けていないでしょうか。この評価軸では、失敗した攻撃によって、フィルターの特性などの重要な情報が露呈し、将来のエクスプロイトにつながる手掛かりを意図せず与えてしまうかどうかを測定します。

最新のトレンドとは？

F5 Labsのチームが、9月のテストで確認された最新トレンドについて詳細に分析しています。増加傾向にある手法、脆弱性、エクスプロイトに関する詳しい知見を得て、AIセキュリティの最新トレンドを把握するために、毎月ご確認ください。

AIモデルを取り巻く状況の変化に対応

AIの攻撃対象領域は今後も進化し続けます。F5は、組織がその変化に合わせてAIセキュリティを適応させるために必要な知見を提供することに尽力しています。あらゆる新しいテクノロジーと同様に、AIには常に「ゼロではない」リスクが伴います。包括的なAIセキュリティへの第一歩は、リスクがどこに存在するかを把握することです。AIモデルを取り巻く状況が絶えず変化する中、CASI Leaderboardsは今後もその理解を深めるうえで重要な役割を果たします。

さらに詳しいインサイトをお求めですか？基盤モデルの評価に使用しているものと同じエージェント型レッドチーミングをお客さまのAI環境に合わせて適用・調整することで、F5 AI Red Teamを通じて、より詳細なインサイトを得られます。

著者について

Lee Ennisデータサイエンス担当シニアマネージャー | F5

Lee EnnisはF5でAIデータサイエンスおよび研究チームを率い、企業が大規模言語モデル（LLM）や生成AIシステムを安全に導入・監視できるよう支援する、高度なAIセキュリティソリューションの開発に注力しています。彼のチームは、機械学習、敵対的テスト、モデル保証に関する専門知識を組み合わせ、脆弱性を特定し、AIを活用した環境への信頼を高めています。

Lee Ennisのその他のブログ記事