F5 AI Red Team

Le red teaming manuel appliqué à l’IA fait appel à des experts humains pour rechercher de manière créative les vulnérabilités des systèmes d’IA, tandis que le red teaming automatisé utilise des outils et des scripts pour effectuer des tests systématiques à grande échelle. La meilleure approche consiste à combiner les deux : l’automatisation pour une couverture complète et l’expertise humaine pour élaborer des scénarios d’attaque subtils et créatifs.

Sans tests adversariaux, les organisations s’exposent à des attaques par injection de prompts, à des fuites de données, à des contournements des garde-fous et à des résultats non autorisés susceptibles de divulguer des données sensibles, de nuire à leur image de marque et de compromettre leur propriété intellectuelle. Les conclusions issues de ces tests peuvent également contribuer à orienter les programmes de gestion des risques liés à l’IA et de conformité, conformément à des cadres tels que le cadre de gestion des risques liés à l’IA du NIST (AI RMF) et le règlement européen sur l’IA.

Le red teaming appliqué à l’IA cible spécifiquement les modèles d’IA/ML et leurs vulnérabilités propres, notamment l’injection de prompts et les techniques de contournement spécifiques à l’IA, tandis que les tests d’intrusion traditionnels se concentrent sur les failles de sécurité des réseaux, des applications et des infrastructures. Il peut également aider les équipes de sécurité à évaluer les risques propres à l’IA recensés dans des référentiels tels que l’OWASP Top 10 pour les applications basées sur des LLM.

La fréquence des exercices de red teaming dépend de la définition propre à chaque organisation des risques, ainsi que des exigences sectorielles et de conformité. Compte tenu de la rapidité avec laquelle évolue le paysage des menaces liées à l’IA, un exercice mensuel constitue la norme minimale. Toutefois, de nombreuses équipes intègrent les rapports de red teaming au quotidien dans leurs pipelines CI/CD.

À l’heure actuelle, F5 AI Red Team utilise des agents pour exécuter des campagnes d’attaque, mais celles-ci ciblent un modèle ou une application déployés plutôt qu’un agent en particulier. Les agents d’IA sont fondamentalement de simples modèles capables d’exécuter des tâches en chaîne au moyen d’appels d’outils. Par conséquent, bon nombre des vulnérabilités découvertes pour le modèle s’appliquent également, par extension, aux workflows agentiques.

Les frameworks open source tels que Microsoft PyRIT peuvent prendre en charge des workflows personnalisés de red teaming appliqué à l’IA et des travaux de recherche en sécurité. F5 AI Red Team permet d’automatiser les tests adversariaux à l’échelle de l’entreprise, grâce à une base de données d’attaques continuellement mise à jour, des tests multi-tours, des empreintes agentiques, des campagnes récurrentes, des fonctionnalités de reporting et des options de déploiement dans le cloud et sur site.

F5 AI Red Team peut tester les applications utilisant la génération augmentée par récupération (RAG) afin de détecter les fuites de données, les injections de prompts et d’autres vulnérabilités exploitables par des acteurs malveillants avant qu’elles ne soient effectivement exploitées. Les résultats peuvent ensuite orienter les mesures correctives et les contrôles à l’exécution, notamment F5 AI Guardrails, afin de contribuer à protéger les interactions avec l’IA en production.

L’injection de prompt consiste à utiliser des instructions malveillantes pour amener un modèle ou une application à déroger au comportement prévu, notamment au moyen d’une injection indirecte transmise par du contenu récupéré ou des données connectées. Le contournement des protections (« jailbreaking ») est une forme de sollicitation adversariale visant à neutraliser les contrôles ou restrictions de sécurité d’un modèle. Le red teaming appliqué à l’IA teste ces deux types d’attaques afin de déterminer comment les modèles, les applications et les workflows peuvent être manipulés, avant que des attaquants n’exploitent ces faiblesses.