Quand les scores élevés ne suffisent plus : ce que Qwen3 nous a appris

James WhiteDirecteur technique, sécurité de l’IA | F5

Chez F5, une question revient sans cesse : comment pouvons-nous savoir réellement si un modèle est sûr ? C’est une question à laquelle nous nous efforçons de répondre, d’abord avec notre score Indice complet de sécurité de l’IA (CASI), puis, plus récemment, avec notre Score de résistance agentique (ARS). Examinons donc ce que signifient ces scores et pourquoi ils sont tous deux essentiels pour évaluer les modèles en conditions réelles.

CASI : la référence en matière de sécurité

CASI est notre référence depuis quelque temps déjà. Il offre une vue d’ensemble de la posture générale d’un modèle en matière de sécurité et de sa résilience face à un large éventail de vulnérabilités. CASI ne se contente pas de comptabiliser les taux de réussite des attaques ; il évalue la gravité des compromissions réussies, la complexité des vecteurs d’attaque et le point de rupture des défenses, à partir duquel les garde-fous d’un modèle commencent à céder.

Considérez le CASI comme le score qui vous aide à déterminer si un modèle est globalement sûr par rapport aux autres. C’est ce que la plupart des gens recherchent lorsqu’ils disent vouloir un « modèle sûr ».

Mais voilà : dans le monde réel, les adversaires ne se contentent pas de soumettre une requête à un modèle puis de passer à autre chose. Ils insistent. Ils essaient plusieurs tactiques. Ils poursuivent un objectif.

ARS : le test de résistance

C’est là qu’intervient l’ARS. L’ARS ne mesure pas la résilience théorique : elle la met à l’épreuve.

Dans le cadre de l’évaluation AWR, nous déployons nos propres agents d’attaque autonomes. Nous leur assignons cinq intentions malveillantes, axées notamment sur l’exfiltration de données ou la manipulation de systèmes, puis nous les laissons agir librement. Nos agents d’attaque planifient leurs actions, procèdent par itérations et s’adaptent. Ils vont partout où cela est nécessaire pour atteindre leur objectif.

C’est aussi pour cela que nous avons désormais deux classements distincts. Ce n’était pas un choix de conception, mais un constat imposé par la réalité. Certains modèles qui semblent performants sur CASI s’effondrent sous la pression d’agents autonomes. D’autres tiennent bon.

Un cas concret : Qwen3

Prenons Qwen3. Récemment publié par Alibaba, c’est objectivement un bon modèle. Sur CASI, il s’est classé 5e, ce qui le place largement dans notre top 10. Il est donc tout à fait honorable, sans être le meilleur ni le pire. Pour mettre les choses en perspective, seuls les 1 % de modèles les plus performants figurent dans notre classement CASI. Impressionnant, non ?

Mais dans le classement ARS, Qwen3 n’a même pas réussi à se classer. Pourquoi ? Parce que lorsque nous l’avons testé face à cinq intentions malveillantes — chacune conçue pour représenter des actes particulièrement graves, comme l’automutilation et d’autres choses terribles — il a échoué à chaque fois. Autrement dit, sa résistance était nulle.

À titre de comparaison, le modèle en tête du classement ARS est Claude 3.5 Sonnet d’Anthropic. Sur les cinq mêmes intentions malveillantes, Claude 3.5 a résisté à trois d’entre elles et s’est montré vulnérable aux deux autres. Le risque demeure donc, mais il est considérablement réduit. (À noter que Claude 3.5 occupait également la première place du classement CASI, ce qui laisse entrevoir une certaine corrélation.)

Voyons ce que cela signifie concrètement, dans la pratique. Si vous utilisez Qwen3 au sein d’un système d’IA connecté à des outils, à des référentiels de données ou à des entrées utilisateur, vous exposez l’ensemble du système à de réelles vulnérabilités.

C’est la nuance que le CASI seul ne peut pas révéler. Les deux perspectives sont nécessaires : le CASI pour la posture de sécurité générale, l’ARS pour la résilience à l’échelle du système face à une attaque coordonnée.

En résumé

Nous n’avons pas créé ces scores pour flatter notre ego. Nous les avons créés parce que, dans un environnement d’IA, les attaquants ne resteront pas statiques — et votre sécurité ne peut pas l’être non plus.

Si vous choisissez un modèle uniquement en fonction de ses performances — score MMLU ou vitesse —, vous passez à côté de l’essentiel. Alors, la prochaine fois que quelqu’un vous dira qu’un modèle est « à la pointe de la technologie », demandez-lui : est-il sécurisé ? Car si ce n’est pas le cas, il n’est pas prêt.

À propos de l’auteur

James WhiteDirecteur technique, sécurité de l’IA | F5

James White est un ingénieur accompli et un dirigeant d’entreprise qui possède près de vingt ans d’expérience dans le secteur des logiciels d’entreprise.

Autres articles de James White