À mesure que l’adoption de l’IA s’accélère dans les entreprises, l’évaluation des LLM ne porte plus seulement sur leurs performances, mais aussi sur la confiance qu’ils inspirent. Les équipes de sécurité doivent évaluer non seulement les performances d’un modèle, mais aussi la sûreté de son comportement. Pourtant, la plupart des cadres d’évaluation se concentrent sur des critères de précision, laissant les facteurs de sécurité et de risque dans le flou ou sans mesure.
Ce manque de clarté est dangereux. Sans indicateurs de sécurité explicables et comparables à des référentiels, il n’existe aucun moyen crédible de comparer les modèles, de démontrer leur résilience ou de prendre des décisions tenant compte des risques quant à la manière et aux contextes dans lesquels l’IA doit être déployée.
Chez F5, nous travaillons depuis de nombreux mois avec des responsables de la sécurité en entreprise, qui nous ont fait part d’une préoccupation récurrente : « Nous devons expliquer aux parties prenantes internes ce que signifie un score, comment il a été calculé et ce que nous pouvons faire pour l’améliorer. »
Cet article explique comment instaurer cette confiance en comprenant les deux scores complémentaires qui constituent désormais le socle de l’évaluation de la sécurité de l’IA générative : le Comprehensive AI Security Index (CASI) et l’Agentic Resistance Score (ARS).
Le problème actuel de la « notation » de la sécurité de l’IA
Lorsque les entreprises testent des modèles d’IA, elles obtiennent souvent soit un résultat binaire : le modèle a-t-il été compromis ou non ? Soit une évaluation vague du risque : faible/moyen/élevé, avec peu de détails.
Aucune de ces deux approches ne tient la route lorsque les systèmes d’IA sont mis en production et commencent à interagir avec des données sensibles, des utilisateurs externes ou des agents en aval.
Les responsables de la sécurité ont besoin de plus que de simples taux de réussite des attaques : ils doivent avoir une visibilité sur :
- Gravité: quel est le niveau de dangerosité d’une attaque réussie ?
- Complexité: dans quelle mesure est-il difficile d’exploiter le modèle ?
- Contexte: Le modèle présente-t-il des défaillances dans des conditions réelles, lors d’interactions en plusieurs tours ou dans le cadre d’une application ?
F5 a développé des systèmes de notation pour traiter les différentes couches de sécurité des systèmes d’IA. Ces systèmes ont été alignés sur des référentiels de sécurité reconnus qui évaluent les risques pour l’entreprise.
Aligner la notation sur les risques d’entreprise
Les référentiels et normes du secteur peuvent aider les organisations à évaluer les risques liés à l’IA, à comprendre les vulnérabilités potentielles et à mettre en place des approches plus cohérentes en matière de gouvernance et de sécurité. Parmi les exemples figurent l’OWASP Top 10 for LLM Applications, le NIST AI Risk Management Framework et la norme ISO/IEC 42001, qui abordent chacun les risques liés à l’IA sous un angle différent.
Top 10 de l’OWASP pour les applications basées sur des LLM
La fondation à but non lucratif OWASP (Open Worldwide Application Security Project) publie une liste des 10 principales menaces pour les applications basées sur des LLM, établie à partir des évaluations des membres de la communauté. Ce classement vise à refléter à la fois l’impact et la probabilité des risques, même si les votes des professionnels ne correspondent pas nécessairement à la fréquence des attaques réelles. Ainsi, bien que les professionnels classent l’injection de prompt comme le principal risque pour les applications basées sur des LLM, elle ne figurerait pas parmi les 10 incidents les plus fréquents dans le monde réel.
Cadre de gestion des risques liés à l’IA du NIST
En 2023, le National Institute of Standards and Technology (NIST) des États-Unis a publié un cadre de gestion des risques liés à l’intelligence artificielle (AI RMF) qui fournit des recommandations pratiques pour gérer les risques liés à l’IA.
Dans le cadre de ses bonnes pratiques de gestion des risques, ce cadre évalue le comportement des modèles au regard des caractéristiques d’une IA « digne de confiance » et des dimensions du « préjudice ». Par exemple, un système d’IA peut être considéré comme risqué s’il ne fournit pas de résultats exacts et impartiaux (deux des sept critères de fiabilité) et s’il est susceptible de porter préjudice aux personnes, aux organisations ou à la société (les trois dimensions du préjudice). Différents niveaux de fiabilité et de préjudice nécessitent des mesures différentes.
ISO/IEC 42001:2023
L’Organisation internationale de normalisation (ISO) et la Commission électrotechnique internationale (IEC) ont publié conjointement une norme visant à gérer les systèmes d’IA de manière responsable, axée sur la gouvernance à l’échelle de l’entreprise, la responsabilité et les contrôles opérationnels. Pour évaluer les risques, la norme encourage les organisations à examiner l’incidence que les vulnérabilités de l’IA, les manquements éthiques ou les erreurs opérationnelles pourraient avoir sur leurs objectifs, la sécurité ou leurs obligations sociétales. Les organisations doivent évaluer la probabilité et l’impact des risques au moyen d’une notation (sur une échelle de un à cinq). Un risque peu susceptible d’entraîner une défaillance technique obtiendrait une note faible, tandis qu’un risque susceptible d’entraîner une violation des exigences de conformité obtiendrait une note élevée. Le risque total ainsi calculé serait ensuite comparé aux critères d’acceptation des risques de l’organisation.
Il est important de noter qu’aucun de ces trois cadres ne repose sur une évaluation binaire de type réussite/échec. Tous évaluent de manière graduée la gravité potentielle des risques et leur impact. De même, F5 évalue les grands modèles de langage (LLM) de façon granulaire, ce qui permet aux responsables de comparer plus précisément les modèles et leur capacité à résister aux menaces.
CASI : l’ADN de sécurité d’un modèle
Le Comprehensive AI Security Index (CASI) aide les équipes à renforcer la rigueur de leur processus d’évaluation des LLM en mesurant bien plus que le simple taux de réussite des jailbreaks. CASI évalue les modèles fondamentaux sur une échelle de 0 à 100, en prenant en compte :
- Gravité de l’impact: Toutes les défaillances ne se valent pas. Divulguer des identifiants est plus grave que répondre à des questions de culture générale.
- Complexité de l’attaque: les modèles qui cèdent face à des formulations simples ne sont pas aussi sûrs que ceux qui nécessitent des stratégies adversariales avancées.
- Point de rupture des défenses: À quelle vitesse et dans quelles conditions l’alignement d’un modèle s’effondre-t-il ?
Cela permet aux équipes de sécurité de choisir des modèles très résilients, et pas seulement ceux qui réussissent des tests faciles.
Par exemple, le modèle Qwen3 d’Alibaba a obtenu un score compétitif au CASI, ce qui laisse supposer de solides défenses au niveau du modèle. Toutefois, lorsqu’il a été testé à l’aide de méthodes agentiques, il n’a pas résisté à des attaques plus sophistiquées et persistantes. Cela met en évidence les limites d’une évaluation portant uniquement sur le modèle.
Ces résultats sont publiés sur le site de F5 Labs, une ressource publique régulièrement mise à jour qui classe les LLM les plus utilisés en fonction de tests d’intrusion réalisés dans des conditions réelles. Contrairement aux classements de performances classiques, ce tableau permet aux entreprises de comparer les modèles en matière de sécurité, de risques, de coûts et de résilience à l’échelle du système, ce qui en fait un outil essentiel pour évaluer les LLM en toute connaissance de cause.
ARS : quand les modèles deviennent des systèmes
Si le CASI mesure la résilience des modèles fondamentaux, il ne tient pas compte du comportement à l’échelle du système. C’est là qu’intervient l’« Agentic Resistance Score (ARS) ».
L’ARS mesure la capacité d’un système d’IA (y compris ses éventuels agents, outils de recherche d’informations ou couches d’orchestration) à résister à des attaques persistantes et adaptatives. Ces tests sont menés par des agents adverses autonomes qui :
- Tirent les leçons des tentatives infructueuses
- Enchaînez les attaques sur plusieurs tours
- Cibler les prompts cachés, les bases de données vectorielles et la logique de récupération
Noté de 0 à 100, l’ARS s’articule autour de trois dimensions :
- Niveau de sophistication requis: Quel doit être le niveau d’ingéniosité de l’attaquant ?
- Endurance défensive: combien de temps le système peut-il résister ?
- Contre-espionnage: le système révèle-t-il des indices utiles à l’attaquant, même lorsqu’il bloque la menace initiale ?
Un score ARS plus élevé signifie que votre système d’IA n’est pas seulement sécurisé lorsqu’il fonctionne de manière isolée. Il peut résister à des attaques contextuelles et agentiques qui reproduisent celles que de véritables acteurs malveillants testent déjà en conditions réelles.
Résistance aux vulnérabilités réelles
Les modèles CASI et ARS évaluent tous deux la résistance aux menaces réelles. Tandis que CASI mesure la résistance à des menaces telles que l’injection de prompts ou les attaques par jailbreak, ARS évalue la résistance aux attaques en plusieurs étapes, par exemple lorsque des agents sont incités à effectuer des actions sans autorisation appropriée.
Ces scores, publiés dans des classements mensuels, reflètent les dernières mises à jour apportées aux modèles. Par exemple, Claude Fable 5 d’Anthropic a fait sa première apparition dans le classement en août 2026, après que l’entreprise a remédié à une grave menace de jailbreak.
Les attaques par jailbreak, qui constituent un type d’injection de prompt, consistent à manipuler un modèle afin qu’il enfreigne ses propres protocoles de sécurité. Lorsqu’Anthropic a lancé Claude Fable 5 en juin 2026, les chercheurs ont rapidement découvert qu’il était possible de contourner les protections du modèle. Anthropic a temporairement suspendu le modèle afin de réentraîner son classificateur de sécurité. Cette démarche a porté ses fruits : la technique décrite par les chercheurs a ensuite été bloquée dans plus de 99 % des cas. Par conséquent, le modèle s’est hissé parmi les premières places du classement CASI dès le mois d’août et a obtenu un score de 98,03 en septembre.
Bien entendu, les nouvelles mises à jour ne garantissent pas une meilleure résistance aux menaces. Grok 4.3 de xAI a obtenu un score CASI de 70,28. Mais celui de Grok 4.5 est tombé à 45,20, alors même que le score de capacités de la nouvelle version a augmenté.
Pourquoi les responsables de la sécurité ont besoin du CASI et de l’ARS
Les responsables de la sécurité qui évaluent des déploiements d’IA, en particulier ceux qui impliquent des architectures RAG, des agents autonomes ou des workflows d’orchestration complexes, ont besoin d’une vision multicouche de la confiance. CASI aide à choisir une base. Il permet de déterminer si les défenses intégrées d’un modèle sont suffisamment robustes pour des applications d’entreprise. ARS valide votre déploiement. Il permet de déterminer si vos workflows personnalisés ou vos systèmes intégrés introduisent de nouvelles vulnérabilités, même lorsque le modèle de base obtient un bon score.
La transparence favorise le passage à l’action
La notation n’est utile que si elle permet de prendre des décisions. Les responsables de la sécurité nous disent avoir besoin des éléments suivants :
- Des méthodologies de notation explicables pouvant être présentées aux comités des risques et aux équipes produit.
- Des indicateurs numériques clairs qui peuvent être comparés à des références, suivis et améliorés.
- Tests d’intrusion adaptés à l’application qui mettent en évidence les faiblesses au niveau du système (et pas seulement les failles du modèle).
C’est pourquoi nous publions nos méthodologies de notation, fournissons des journaux détaillés au niveau des prompts dans nos rapports de red teaming et assurons des tests de sécurité continus sur les modèles comme sur les systèmes d’IA.
La confiance dans l’IA ne repose pas sur de vagues garanties. Elle repose sur une évaluation qui reflète les risques réels, des tests qui reproduisent les menaces réelles et des rapports qui conduisent à de réelles améliorations.
La confiance se construit, elle ne se décrète pas
La fiabilité de l’IA dépend entièrement du processus utilisé pour l’évaluer et la surveiller. Une notation transparente de la sécurité, tant au niveau du modèle que du système, fournit aux équipes de sécurité le langage, les preuves et la confiance nécessaires pour déployer l’IA générative en toute sécurité.
Et pour les entreprises opérant dans des secteurs réglementés ou des domaines à haut risque, ou qui utilisent des agents d’IA en contact avec les utilisateurs, cette confiance est indispensable.
Questions fréquentes
Qu’est-ce qu’une plateforme de sécurité de l’IA, et pourquoi la cybersécurité classique ne suffit-elle pas à protéger les systèmes d’IA ?
Les solutions de cybersécurité standard peuvent protéger efficacement les données, les applications et les réseaux. Cependant, elles ne sont pas conçues pour faire face aux menaces spécifiques qui pèsent sur les systèmes et agents d’IA. Une plateforme de sécurité de l’IA intègre des fonctionnalités spécialement conçues pour protéger les applications, services, modèles et agents d’IA contre les accès non autorisés, les altérations, les attaques malveillantes et autres menaces.
Comment les modèles d’évaluation de la sécurité tels que CASI et ARS s’alignent-ils sur des cadres comme le NIST AI RMF ?
Des cadres tels que l’Artificial Intelligence Risk Management Framework (AI RMF) du National Institute of Standards and Technology (NIST) des États-Unis fournissent des recommandations pour évaluer et gérer les risques liés à l’IA ainsi que sa fiabilité. De même, le Comprehensive AI Security Index (CASI) et l’Agentic Resistance Score (ARS) de F5 fournissent des mesures quantitatives de sécurité qui peuvent aider les organisations à évaluer la résilience des modèles et des systèmes.
Quelle est la différence entre la sécurisation d’un modèle d’IA et celle d’un système d’IA ?
La sécurisation d’un modèle d’IA permet de s’assurer que celui-ci ne génère pas de réponses inexactes ou préjudiciables susceptibles de résulter d’un empoisonnement des données, d’injections directes de prompts ou d’autres actions malveillantes. La sécurisation d’un système d’IA consiste à protéger non seulement le modèle, mais aussi tous les éléments qui lui sont connectés, tels que l’interface utilisateur, une base de données vectorielle ou des intégrations d’API externes. Cette sécurisation peut viser à prévenir les injections indirectes de prompts, le détournement d’API, l’exfiltration de données ou les attaques par élévation de privilèges.
Comment les garde-fous à l’exécution empêchent-ils les fuites de données et les injections de prompts ?
Les Guardrails d’exécution empêchent les fuites de données et les injections de prompts en inspectant et en sécurisant les interactions avec l’IA en temps réel, lors des activités des utilisateurs, des agents et des API. Ils peuvent empêcher les fuites de données et les injections de prompts en inspectant à la fois les prompts entrants et les réponses sortantes. Les Guardrails bloquent les tentatives d’injection de prompts et veillent à ce qu’aucune donnée sensible n’entre dans le modèle ni n’en sorte.
Pourquoi l’évaluation du LLM de base est-elle insuffisante pour les architectures RAG et d’IA agentique ?
L’évaluation des grands modèles de langage (LLM) est essentielle pour aider les organisations à établir les fondations de leur IA. Mais elles doivent également savoir comment ces modèles fonctionneront au sein de systèmes intégrant la génération augmentée par récupération (RAG) et des agents autonomes. Un cadre tel que le F5 Agentic Resistance Score (ARS) permet aux organisations de mieux déterminer si des workflows personnalisés ou des systèmes intégrés créeront de nouvelles vulnérabilités.
À propos de l’auteur
Articles de blog associés
F5 rejoint le projet PQC du NIST pour contribuer à l’élaboration de normes résistantes aux attaques quantiques
En rejoignant le consortium du projet « Migration to PQC » du NIST, F5 contribue à élaborer des recommandations pratiques pour un monde résistant aux menaces quantiques.
La dernière version de F5 Distributed Cloud Bot Defense offre des fonctionnalités et des améliorations de nouvelle génération
Les mises à jour de la console de F5 Distributed Cloud Bot Defense améliorent la gestion des menaces automatisées et l’intégration dans des cadres de sécurité plus larges.
La nouvelle surface de risque liée à l’IA : invisible, autonome et déjà à l’intérieur
James White, vice-président de l’ingénierie chez F5 À mi-parcours de l’année 2025, le moment est bien choisi pour dresser un état des lieux de l’adoption de l’IA en entreprise et de la sécurité de l’IA. L’utilisation de l’IA générative est désormais la norme dans les entreprises De manière générale, les entreprises possèdent au moins une compréhension élémentaire de l’IA générative. Elles savent ce qu’elle est et où elle peut […]
Évaluation des LLM : renforcer la confiance grâce à la notation de sécurité
À mesure que l’adoption de l’IA s’accélère dans les entreprises, l’évaluation des LLM ne porte plus uniquement sur leurs performances, mais aussi sur la confiance qu’ils inspirent. Les équipes de sécurité doivent évaluer non seulement les performances d’un modèle, mais aussi la sûreté de son comportement. Pourtant, la plupart des cadres d’évaluation se concentrent sur des critères de précision, laissant les facteurs de sécurité et de risque dans le flou ou sans mesure.
Évaluer le niveau de préparation de votre organisation à la sécurité de l’IA
Dans un paysage de l’intelligence artificielle (IA) en constante évolution, il est non seulement important, mais impératif de savoir si votre organisation est prête à instaurer et à soutenir une culture de la sécurité de l’IA. À mesure que les technologies d’IA progressent, elles font émerger une multitude de nouveaux défis de sécurité qui, pour être gérés efficacement, exigent une approche réfléchie, globale et proactive […]
Déployer des LLM en entreprise : via une API dans un cloud privé
Pris isolément, sans mesures de protection spécialisées ni protocoles de sécurité en place, le déploiement de modèles d’IA générative (GenAI), en particulier de grands modèles de langage (LLM), à l’échelle de l’entreprise représente pour toute organisation une opportunité à haut risque, mais potentiellement très rentable. La manière précise dont votre organisation doit franchir ce grand pas dans l’univers de la GenAI nécessite une planification mûrement réfléchie. Peut-être serait-il […]