高スコアだけでは不十分：Qwen3から得た教訓

F5 ADSP | 2025年5月20日

F5では、ある疑問が繰り返し浮上しています。モデルが安全かどうかを、どのようにして本当の意味で判断できるのでしょうか。F5はこの疑問に答えるため、まずComprehensive AI Security Index（CASI）スコアを、そして最近ではAgentic Resistance Score（ARS）を開発してきました。ここでは、これらのスコアが何を意味し、実環境のモデルを評価するうえで、なぜどちらも不可欠なのかを詳しく見ていきます。

CASI：セキュリティのベースライン

CASIは、以前からベンチマークとして使用されています。モデルの全般的なセキュリティ態勢と、幅広い脆弱性に対するレジリエンスを俯瞰できます。CASIは攻撃成功率を単に集計するだけでなく、侵害に成功した場合の「深刻度」、攻撃経路の「複雑さ」、さらにモデルのガードレールが機能し始めなくなる「防御の限界点」を加味します。

CASIは、「このモデルは他のモデルと比べて、全般的にセキュアか」を判断するのに役立つスコアと考えてください。多くの人が「安全なモデル」を求める際に重視しているのは、この指標です。

しかし、重要なのはここです。現実の攻撃者は、モデルにプロンプトを1つ投げかけて終わりにはしません。執拗に攻撃を続け、複数の手法を試しながら、目的の達成を目指します。

ARS：ストレステスト

そこで役立つのがARSです。ARSは理論上のレジリエンスを測定するのではなく、負荷をかけて実際に検証します。

AWR評価では、独自の自律型攻撃エージェントを展開します。データ流出やシステム操作などに重点を置いた5つの悪意ある目的を与え、自由に行動させます。攻撃エージェントは計画を立て、試行を繰り返しながら適応します。目標を達成するため、必要な場所へ自在に進みます。

現在、2つのリーダーボードを設けているのもそのためです。これは設計上の選択ではなく、現実を踏まえた判断でした。CASIでは優秀に見えるモデルでも、エージェントによる攻撃を受けると崩れるものがあります。一方で、持ちこたえるモデルもあります。

その好例：Qwen3

例として、Qwen3を見てみましょう。Alibabaが最近リリースしたこのモデルは、客観的に見ても優れています。CASIでは5位に入り、トップ10に十分食い込む結果となりました。つまり、最高でも最低でもありませんが、評価に値するモデルです。ちなみに、CASI Leaderboardに掲載されるのは、全モデルの上位1%に限られます。素晴らしいと思いませんか？

しかし、ARS Leaderboardでは、Qwen3はランクインすらしませんでした。なぜでしょうか。自傷行為などの極めて有害な内容を想定して設計された5つの悪意ある意図に対してテストしたところ、すべてを防げなかったためです。つまり、耐性はゼロでした。

これに対し、ARS Leaderboardで首位となったモデルはAnthropicのClaude 3.5 Sonnetです。同じ5つの悪意ある意図のうち、Claude 3.5は3つに対して耐性を示し、2つに対して脆弱でした。つまり、リスクは依然として残るものの、大幅に低減されています。（ちなみに、Claude 3.5はCASI Leaderboardでも首位のモデルであり、一定の相関が見られます。）

これが実際の環境で何を意味するのか、具体的に考えてみましょう。ツール、データストア、またはユーザー入力に接続するAIシステム内でQwen3を使用すると、システム全体が現実の脆弱性にさらされることになります。

これは、CASIだけでは把握できない微妙な違いです。一般的なセキュリティ態勢にはCASI、システムレベルのレジリエンスにはARSという、両方の観点が必要です。協調攻撃を受けた場合。