LLM評価：セキュリティスコアリングによる信頼性の向上

Jessica BrennanAIセキュリティ担当シニアプロダクトマーケティングマネージャー | F5

企業でのAI導入が加速する中、LLMの評価では、もはや性能だけでなく信頼性も問われています。セキュリティチームは、モデルの性能だけでなく、安全に動作するかどうかも検証する必要があります。しかし、ほとんどの評価フレームワークは精度のベンチマークに重点を置いているため、セキュリティとリスクの要因は曖昧なまま、または測定されないままです。

この不明確さは危険です。説明可能でベンチマーク評価が可能なセキュリティ指標がなければ、モデルを比較し、レジリエンスを実証し、AIをどこにどのように導入すべきかについてリスクを考慮した意思決定を行うための信頼できる方法はありません。

F5は数か月にわたり、企業のセキュリティリーダーと協力してきました。その中で、一貫して次のような懸念が寄せられています。「スコアが何を意味し、どのように算出されたのか、また改善のために何ができるのかを、社内の関係者に説明する必要があります」

本記事では、安全なGenAI評価の基盤となっている2つの相互補完的なスコアを理解し、信頼を構築する方法を解説します。そのスコアとは、Comprehensive AI Security Index (CASI)と、Agentic Resistance Score (ARS)です。

現在のAIセキュリティ「スコアリング」の問題点

企業がAIモデルをテストする際、多くの場合、得られるのは「二者択一の結果」、つまりモデルが破られたか否か、または「曖昧なリスク評価」、つまり詳細情報に乏しい「低／中／高」の評価です。

AIシステムが本番環境に導入され、機密データ、外部ユーザー、または後続のエージェントとのやり取りを開始すると、どちらのアプローチも通用しません。

セキュリティ責任者には、攻撃成功率だけでなく、以下を可視化する必要があります。

• 深刻度：攻撃が成功した場合、どの程度危険ですか？
• 複雑性：モデルの脆弱性を悪用するのはどの程度困難か？
• コンテキスト：実環境、複数ターン、またはアプリケーションレベルでの使用時に破綻するか？

F5は、AIシステムのセキュリティにおけるさまざまなレイヤーに対応するため、スコアリングシステムを開発しました。これらのシステムは、企業リスクを評価する確立されたセキュリティフレームワークに準拠しています。

スコアリングとエンタープライズリスクの整合

業界のフレームワークや標準は、組織によるAIリスクの評価、潜在的な脆弱性の把握、ガバナンスとセキュリティに対する一貫性の高いアプローチの確立に役立ちます。例として、OWASP Top 10 for LLM Applications、NIST AI Risk Management Framework、ISO/IEC 42001が挙げられ、それぞれ異なる観点からAIリスクに取り組んでいます。

OWASP Top 10 for LLM Applications

非営利財団のOWASP（Open Worldwide Application Security Project）は、コミュニティメンバーによる評価に基づき、LLMアプリケーションに対する脅威トップ10のリストを公開しています。このランキングはリスクの影響と発生可能性の両方を反映することを目的としていますが、実務者による投票結果が、実際の攻撃の発生状況を必ずしも反映しているとは限りません。そのため、プロンプトインジェクションは実務者によってLLMアプリケーションの最大のリスクに位置付けられているものの、実際に発生したインシデントの上位10件には入りません。

NIST AI RMF

2023年、米国国立標準技術研究所（NIST）は、AIに関連するリスクを管理するための実践的な指針を示す「人工知能リスク管理フレームワーク（AI RMF）」を公開しました。

このフレームワークでは、リスク管理のベストプラクティスの一環として、モデルの挙動を「信頼できる」AIの特性と「危害」の側面に照らして評価します。たとえば、AIシステムが正確で偏りのない結果を提供できず（信頼性に関する7つの評価基準のうち2つ）、個人、組織、社会に危害を及ぼす可能性がある場合（危害に関する3つの評価基準すべて）、リスクがあると見なされる可能性があります。信頼性と危害のレベルに応じて、必要な対応は異なります。

ISO/IEC 42001:2023

国際標準化機構（ISO）と国際電気標準会議（IEC）は、AIシステムを責任ある形で管理するための規格を共同で発行しました。この規格は、企業レベルのガバナンス、説明責任、運用管理に重点を置いています。リスク評価においては、AIの脆弱性、倫理上の問題、運用上のエラーが、組織の目標、安全性、社会的責任にどのような影響を及ぼす可能性があるかを検討するよう組織に促しています。組織は、1～5の尺度でスコアを付け、リスクの発生可能性と影響を評価する必要があります。技術的障害を引き起こす可能性が低いリスクには低いスコアを付け、コンプライアンス違反につながる可能性があるリスクには高いスコアを付けます。その後、算出した総合リスクを組織のリスク受容基準と照らし合わせて評価します。

重要なのは、これら3つのフレームワークはいずれも、合格か不合格かという二者択一のスコアを提示していない点です。いずれも、リスクの潜在的な深刻度とその影響を段階的に評価します。同様に、F5もLLMを詳細にスコアリングすることで、意思決定者が各モデルとその脅威への耐性をより慎重に比較できるようにします。

CASI：モデルのセキュリティDNA

The Comprehensive AI Security Index（CASI）は、ジェイルブレイクの成功だけでなく、より多角的な測定を行うことで、チームがLLM評価プロセスのセキュリティをより厳密に評価できるよう支援します。CASIは、以下の要素を組み込み、基盤モデルを0～100の尺度でスコアリングします。

• 影響の深刻度：障害の影響は一様ではありません。認証情報の漏えいは、一般的な質問に回答することよりも深刻です。
• 攻撃の複雑さ：単純な言い回しで破られるモデルは、高度な敵対的戦略を必要とするモデルほどセキュアではありません。
• 防御の限界点：モデルのアラインメントは、どの程度の速さで、どのような条件下で崩壊するのでしょうか？

これにより、セキュリティチームは、簡単なテストに合格するだけでなく、高いレジリエンスを備えたモデルを選択できます。

たとえば、Alibabaの「Qwen3はCASIで競争力のあるスコアを獲得し」、モデルレベルでの防御力の高さが示唆されました。しかし、エージェント型の手法でテストしたところ、より高度で執拗な攻撃には耐えられませんでした。これは、モデルのみを対象とした評価の限界を浮き彫りにしています。

これらの結果は、 F5 Labsで公開されています。F5 Labsは定期的に更新される公開リソースで、実環境を想定したレッドチーム演習に基づき、最も広く使用されているLLMをランク付けしています。従来のパフォーマンスチャートとは異なり、このリーダーボードでは、セキュリティ、リスク、コスト、システムレベルのレジリエンスの観点から企業がモデルを比較できるため、十分な情報に基づいてLLMを評価するうえで重要なツールとなります。

ARS：モデルがシステムになるとき

CASIは基盤モデルのレジリエンスを測定しますが、システムレベルの挙動は考慮していません。そこで役立つのが、Agentic Resistance Score （ARS）です。

ARSは、AIシステム（エージェント、検索ツール、オーケストレーションレイヤーを含む）が、持続的かつ適応型の攻撃にどの程度耐えられるかを測定します。これらのテストは、以下の動作を行う自律型の敵対的エージェントによって実行されます。

• 失敗した試行から学習する
• 複数のターンにわたって攻撃を連鎖させる
• 隠しプロンプト、ベクトルストア、検索ロジックを標的にする

ARSは0～100でスコアリングされ、次の3つの側面で構成されています。

1. 必要な高度さ：攻撃者にはどの程度の巧妙さが必要か？
2. 防御の持続力：システムはどのくらいの時間、攻撃に耐えられるか？
3. 対抗インテリジェンス：システムは、最初の脅威をブロックした場合でも、攻撃に関する有用な手がかりを明らかにしますか？

ARSスコアが高いほど、AIシステムは単独でセキュアなだけでなく、実際の脅威アクターがすでに実環境で試している手法を模倣した、コンテキスト依存型のエージェント攻撃にも耐えられることを意味します。

実環境の脆弱性に対する耐性

CASIモデルとARSモデルは、いずれも現実世界の脅威に対する耐性を検証します。CASIはプロンプトインジェクションやジェイルブレイク攻撃などの脅威に対する耐性を測定する一方、ARSは、エージェントが適切な承認を得ずに操作を実行するよう誘導されるケースなど、複数ステップにわたる攻撃への耐性を評価します。

これらのスコアは、毎月のリーダーボードに掲載されており、モデルの最新の更新状況を反映しています。たとえば、AnthropicのClaude Fable 5は、同社が深刻なジェイルブレイクの脅威に対処した後、2026年8月に初めてリーダーボードに登場しました。

プロンプトインジェクションの一種であるジェイルブレイク攻撃では、モデルを操作し、そのモデル自体の安全プロトコルに違反させます。Anthropicが2026年6月にClaude Fable 5を初めてリリースした際、研究者はこのモデルをジェイルブレイクできることをすぐに発見しました。Anthropicは、安全性分類器を再トレーニングするため、モデルの提供を一時停止しました。この対応は成功し、研究者が説明した手法はその後、99%を超えるケースでブロックされました。その結果、このモデルは8月以降、CASIリーダーボードで上位に入り、9月には98.03のスコアを記録しました。

もちろん、新たなアップデートによって脅威への耐性が向上するとは限りません。xAIのGrok 4.3はCASIスコア70.28を獲得しました。しかし、新バージョンでは能力スコアが上昇した一方で、Grok 4.5のCASIスコアは45.20に低下しました。

セキュリティリーダーにCASIとARSが必要な理由

AI導入を評価するセキュリティ責任者には、特にRAGアーキテクチャ、自律型エージェント、複雑なオーケストレーションワークフローを伴う場合、信頼性を多層的に捉える視点が必要です。CASIは基盤の選定に役立ちます。モデルに組み込まれた防御機能が、エンタープライズグレードのアプリケーションに十分な堅牢性を備えているかどうかを確認できます。ARSは導入環境を検証します。ベースモデルのスコアが高い場合でも、カスタムワークフローや統合システムによって新たな脆弱性が生じていないかを確認できます。

透明性が実行可能性を高める

スコアリングは、意思決定につながらなければ役に立ちません。セキュリティ責任者が必要としているのは、次の要素です。

• 説明可能なスコアリング手法。リスク委員会や製品チームと共有できます。
• 明確な数値指標。ベンチマークとの比較、継続的な追跡、改善が可能です。
• アプリケーションを考慮したレッドチーミングにより、システムレベルの弱点（モデルの欠陥だけではありません）を明らかにします。

そのため、F5はスコアリング手法を公開し、レッドチームレポートでプロンプトレベルのログを提供するとともに、モデルとAIシステムの両方を対象とした継続的なセキュリティテストを支援しています。

AIへの信頼は、曖昧な保証から生まれるものではありません。信頼をもたらすのは、実際のリスクを反映したスコアリング、現実の脅威を再現するテスト、そして実質的な改善につながるレポートです。

信頼は、主張するものではなく、築くもの

AIの信頼性は、その評価と監視に用いるプロセスによって決まります。モデルとシステムの両レベルで透明性の高いセキュリティスコアリングを行うことで、セキュリティチームはGenAIを安全に導入するために必要な共通言語、根拠、確信を得られます。

また、規制対象業界や高リスク領域で事業を展開する企業、あるいはユーザー向けAIエージェントを運用する企業にとって、こうした信頼性は不可欠です。

よくあるご質問

AIセキュリティプラットフォームとは何ですか。また、AIシステムの保護に標準的なサイバーセキュリティだけでは不十分なのはなぜですか？

標準的なサイバーセキュリティソリューションは、データ、アプリケーション、ネットワークを効果的に保護できます。しかし、AIシステムやエージェントが直面する固有の脅威に対応するようには設計されていません。AIセキュリティプラットフォームには、不正アクセス、改ざん、悪意のある攻撃、その他の脅威からAIアプリ、サービス、モデル、エージェントを保護するための専用機能が組み込まれています。

CASIやARSなどのセキュリティスコアリングモデルは、NIST AI RMFなどのフレームワークとどのように整合しますか？

米国国立標準技術研究所（NIST）のArtificial Intelligence Risk Management Framework（AI RMF）などのフレームワークは、AIのリスクと信頼性を評価・管理するための指針を提供します。同様に、F5 Comprehensive AI Security Index（CASI）とAgentic Resistance Score（ARS）は、組織によるモデルとシステムのレジリエンス評価に役立つ定量的なセキュリティ指標を提供します。

AIモデルのセキュリティ確保とAIシステムのセキュリティ確保には、どのような違いがありますか？

AIモデルのセキュリティを確保することで、データポイズニング、直接プロンプトインジェクション、その他の悪意ある行為によって生じる可能性のある、不正確または有害な応答をモデルが生成しないようにすることができます。AIシステムのセキュリティ確保では、モデルだけでなく、ユーザーインターフェース、ベクトルデータベース、外部API連携など、モデルに接続されているあらゆる要素も保護します。具体的には、間接プロンプトインジェクション、APIハイジャック、データ流出、権限昇格攻撃の防止に重点を置く場合があります。

ランタイムガードレールは、データ漏洩とプロンプトインジェクションをどのように防ぐのか

ランタイムGuardrailsは、ユーザー、エージェント、APIのアクティビティ中にAIとのやり取りをリアルタイムで検査して保護することで、データ漏洩とプロンプトインジェクションを防止します。受信プロンプトと送信レスポンスの両方を検査することで、データ漏洩とプロンプトインジェクションを阻止できます。Guardrailsはプロンプトインジェクションの試みをブロックし、機密データがモデルに流入したり、モデルから流出したりしないようにします。

RAGおよびエージェント型AIアーキテクチャにおいて、基盤LLMの評価だけでは不十分なのはなぜですか？

大規模言語モデル（LLM）の評価は、組織がAI基盤を構築するうえで重要です。しかし、検索拡張生成（RAG）や自律型エージェントを組み込んだシステム内で、それらのモデルがどのように動作するかも把握する必要があります。F5 Agentic Resistance Score（ARS）のようなフレームワークを活用することで、カスタムワークフローや統合システムによって新たな脆弱性が生じるかどうかを、より的確に把握できます。

著者について

Jessica BrennanAIセキュリティ担当シニアプロダクトマーケティングマネージャー | F5

Jessica Brennanのその他のブログ記事