Découvrez le classement CASI

L’adoption de l’IA progresse plus vite que toute technologie précédente. 

Ce qui a commencé avec quelques grands modèles et fournisseurs s’est transformé en un vaste écosystème de modèles d’IA open source et commerciaux, chacun avec ses propres avantages et risques. Avec des millions de modèles parmi lesquels choisir, les entreprises qui adoptent l’IA ont besoin d’informations transparentes sur les risques qui montrent exactement quelles menaces chaque modèle apporte à leur environnement .

Depuis l’acquisition de CalypsoAI par F5, nous sommes heureux de vous présenter le Classement Comprehensive AI Security Index (CASI), qui offre aux leaders de l’IA et de la GRC des analyses détaillées sur les différentes compositions de risques des modèles d’IA majeurs. Fondée en 2018, CalypsoAI a innové dans la recherche en sécurité de l’IA, en créant l’une des plus vastes bibliothèques de vulnérabilités d’IA, qu’elle enrichit régulièrement avec plus de 10 000 nouveaux scénarios d’attaque chaque mois. Grâce à cette base, le classement fonctionne avec des tests qui évaluent globalement la sécurité des modèles de base et des systèmes d’IA, en ciblant les modèles les plus utilisés ainsi que ceux déployés par nos clients. 

CASI est une métrique conçue pour répondre à une question complexe : « Quelle est la sécurité de mon modèle ? ». Un score CASI plus élevé reflète un modèle ou une application plus sécurisée. Alors que de nombreuses études sur les attaques de modèles ou red-teaming reposent sur le taux de réussite des attaques (ASR), cette mesure ignore souvent les disparités d’impact entre attaques. L’ASR classique traite toutes les attaques de la même façon, ce qui induit en erreur. Par exemple, une attaque qui contourne un antivol de vélo ne se compare pas à une attaque qui compromet les codes de lancement nucléaire. De même, en IA, un modèle petit et non sécurisé peut être compromis facilement par une simple requête d’informations sensibles, tandis qu’un modèle plus avancé peut exiger des techniques sophistiquées, telles que des attaquants IA autonomes et coordonnés, pour briser son alignement. CASI prend en compte cette subtilité en distinguant attaques simples et complexes, et en définissant le point de rupture défensif (DBP) d’un modèle ; le chemin à moindre résistance et les ressources informatiques minimales nécessaires pour réussir une attaque.

Les analyses standard des vulnérabilités d’IA donnent une première idée de la sécurité du modèle, mais n’explorent qu’en partie la réaction réelle d’un système d’IA face à des attaques concrètes. 

Pour combler cette lacune, nous utilisons F5 AI Red Team, une technologie avancée de red teaming qui pilote des essaims d’agents IA autonomes simulant une équipe d’analystes de menaces persistants et intelligents. Ces agents sondent, apprennent et s’adaptent en menant des attaques en plusieurs étapes pour révéler des faiblesses critiques souvent ignorées par les tests statiques.

Ce test rigoureux génère le score AWR, une mesure quantitative de la résistance défensive d’un système IA, notée de 0 à 100. Un score AWR plus élevé signifie que seule une menace sophistiquée, persistante et bien informée pourra le contourner. Ce chiffre susceptible d’être comparé, basé sur des scénarios d’attaques complexes, s’appuie sur trois catégories essentielles :

• Niveau d’ingéniosité requis – Quel degré d’ingéniosité un attaquant doit-il au minimum déployer pour contourner l’IA ? Le système résiste-t-il à des stratégies avancées et adaptées, ou cède-t-il face à des attaques plus simples et courantes ?
• Endurance défensive – Combien de temps le système d’IA reste-t-il sécurisé face à une attaque adaptative prolongée ? S’effondre-t-il au bout de quelques interactions ou tient-il bon face à des attaques persistantes et évolutives ?
• Contre-espionnage – L’IA forme-t-elle sans le vouloir ses attaquants ? Ce vecteur évalue si une attaque échouée révèle des informations critiques, comme la nature de ses filtres, ouvrant ainsi la voie à de futures attaques.

Notre équipe chez F5 Labs propose une analyse approfondie des tendances récentes repérées lors de nos tests de septembre. Pour suivre les techniques, vulnérabilités et exploits en progression, revenez chaque mois et restez informé des dernières évolutions en sécurité de l’IA.