Qu’est-ce qu’une attaque par jailbreak d’une IA ?
Une exploitation malveillante conçue pour contourner les mécanismes de protection intégrés d’un système d’IA afin de l’amener à effectuer des actions ou à générer du contenu qu’il ne produirait pas dans des circonstances normales
Une attaque par jailbreak est une exploitation malveillante visant à contourner les mécanismes de protection intégrés d’un système d’IA. Son objectif est d’amener le système à générer des résultats inexacts ou préjudiciables, ou à effectuer des actions non autorisées. Le jailbreak est une forme d’injection de prompt spécifiquement conçue pour contourner les contrôles de sécurité d’un modèle, tandis que l’injection de prompt désigne plus largement la manipulation du comportement d’un modèle au moyen d’instructions malveillantes ou non fiables.
Techniques et vecteurs courants de contournement des protections
Les attaquants utilisent plusieurs techniques et vecteurs pour contourner les protections. Voici les approches les plus courantes :
Jeu de rôle et manipulation de persona : À l’aide d’une invite adressée à un modèle d’IA, les attaquants demandent au modèle d’adopter une persona qui ignorera les mécanismes de protection intégrés. Par exemple, des attaquants ont demandé à des modèles d’adopter la persona « DAN » (« do anything now », soit « tout faire immédiatement »), susceptible de fournir des réponses non censurées aux invites. De même, la persona « AIM » (« always intelligent and Machiavellian », soit « toujours intelligent et machiavélique ») a été utilisée pour fournir des réponses amorales qui franchissent les limites éthiques.
Obfuscation et encodage : Cette technique de jailbreak vise à transformer une charge utile malveillante dans un format capable de contourner les filtres de sécurité ou les classificateurs textuels. Les attaquants ont utilisé du code Base64 à la place du langage naturel, des chiffrements (qui utilisent des algorithmes pour décaler ou remplacer le contenu normal), des caractères invisibles et des caractères issus d’autres alphabets. Ces modifications peuvent être décodées et lues par les modèles, mais pas par leurs filtres de sécurité.
Forçage d’une réponse affirmative : Également appelée injection de préfixe ou complétion forcée, cette technique oblige un modèle à commencer chaque réponse par une affirmation, telle que « Bien sûr, je peux vous aider ! » Une fois que le modèle a généré cette réponse, son approche probabiliste augmente la probabilité qu’il donne suite aux requêtes suivantes, même à celles qu’il refuserait normalement.
Saturation du contexte : Pour cette technique, parfois appelée remplissage du contexte ou saturation de l’attention, les attaquants incluent une grande quantité de texte anodin ou de données aléatoires dans leur prompt. L’ajout d’un volume important de contexte peut diluer ou perturber l’influence des instructions précédentes, ce qui peut empêcher un modèle de respecter systématiquement ses contraintes de sécurité.
L’évolution de la menace
À l’origine, les principales cibles du contournement des garde-fous de l’IA étaient les grands modèles de langage (LLM), et les conséquences néfastes se limitaient en grande partie à des réponses textuelles inappropriées. Mais à mesure que les organisations ont adopté des agents d’IA capables d’effectuer de manière autonome un éventail de tâches, les attaquants ont reporté leur attention sur ces agents.
Le contournement des garde-fous des agents d’IA peut avoir de graves conséquences pour les entreprises. Par exemple, des agents dont les garde-fous ont été contournés et qui disposent d’un accès aux API pourraient exfiltrer des données sensibles, supprimer des fichiers de bases de données, exécuter des transactions financières frauduleuses, envoyer des messages d’hameçonnage depuis des comptes d’entreprise ou provoquer la panne de systèmes critiques.
Les attaquants utilisent eux-mêmes l’IA pour détecter les vulnérabilités des agents susceptibles d’accroître leurs chances de réussir un jailbreak. Par exemple, ils se servent de grands modèles de raisonnement (LRM) pour découvrir des vulnérabilités. Ils peuvent ensuite déployer des agents automatisés de red teaming reposant sur ces LRM afin de tester en continu les vulnérabilités des agents.
Pourquoi la sécurité traditionnelle ne suffit pas
Les solutions de sécurité traditionnelles, telles que les pare-feu d’applications web (WAF), ne suffisent pas à empêcher le contournement des protections des systèmes d’IA, et ce pour deux raisons principales. Premièrement, les WAF analysent les données structurées et le code à la recherche de schémas de menace connus. Or, dans le cadre d’un jailbreak, les attaquants utilisent des invites en langage naturel pour contraindre les modèles et les agents à exécuter des actions. Les WAF ne sont pas en mesure d’interpréter le sens de ce langage naturel. En outre, ils inspectent principalement le trafic applicatif HTTP et n’ont pas de visibilité sur toutes les sources de contenu qu’un système d’IA est susceptible d’ingérer.
Comment protéger les applications et les agents d’IA
La protection des applications et des agents d’IA contre le jailbreak nécessite une stratégie à plusieurs niveaux. Quatre pratiques essentielles peuvent contribuer à mettre en place cette stratégie :
1. Mettez en œuvre des garde-fous doubles (en entrée et en sortie) : Les garde-fous en entrée peuvent analyser les requêtes afin de détecter les techniques d’obscurcissement et d’encodage, et filtrer les tentatives de jeu de rôle. Les garde-fous en sortie, quant à eux, peuvent évaluer le contenu généré avant qu’il ne parvienne à l’utilisateur et avant que le modèle n’exécute des appels d’API. Cette évaluation peut notamment rechercher les discours haineux, les fuites de données et les appels d’outils non autorisés.
2. Déployer des modèles sentinelles ou de modération : Au lieu de demander à un modèle d’évaluer sa propre sécurité, les organisations peuvent déployer des modèles légers de type « sentinelle » ou de modération, conçus pour effectuer des tâches de classification. En examinant à la fois les entrées et les sorties, ces modèles peuvent détecter les tentatives de détournement dans les prompts et déterminer si le contenu généré enfreint les politiques de l’entreprise (notamment celles relatives aux discours haineux ou au harcèlement).
3. Garantir la fidélité au prompt système : La fidélité au prompt système désigne la mesure dans laquelle les prompts respectent les instructions système sans s’en écarter ni être supplantés par d’autres instructions. Les organisations peuvent garantir cette fidélité à l’aide de plusieurs techniques, notamment en répétant les instructions système essentielles au cours des conversations avec les utilisateurs (afin de lutter contre la saturation du contexte) et en affinant la hiérarchie des instructions pour s’assurer que le modèle rejettera toute commande utilisateur lui demandant d’ignorer les instructions système.
4. Appliquer le principe du moindre privilège aux accès API des agents : Les agents d’IA jailbreakés peuvent causer des dommages considérables aux entreprises, en particulier lorsqu’ils sont connectés à des systèmes critiques. Les organisations peuvent limiter les dommages potentiels liés au jailbreak des agents en appliquant le principe du moindre privilège aux accès API. Les agents ne doivent pouvoir accéder qu’aux API nécessaires à l’accomplissement de leurs tâches.
Questions fréququemment posées
Pourquoi les modèles d’IA refusent-ils de répondre à des questions inoffensives (générant ainsi des « faux positifs ») ?
Les modèles d’IA refusent parfois de répondre à des questions pourtant inoffensives. Ces refus sont appelés « faux positifs » ou « refus excessifs ». La requête peut contenir des mots déclencheurs qui signalent un danger dans d’autres contextes, ou être formulée d’une manière qui laisse penser à une tentative de contournement des garde-fous (par exemple, en demandant au modèle d’endosser un personnage). Le modèle peut aussi estimer que sa réponse risquerait de susciter une demande préjudiciable, ce qui serait pire que de refuser de répondre.
Comment le jeu de rôle avec des personnages permet-il de contourner les garde-fous de sécurité ?
Le jeu de rôle permet de contourner les garde-fous de sécurité en dissimulant une intention malveillante dans un contexte apparemment anodin. Si les garde-fous considèrent l’invite comme un simple exercice créatif, ils ne la classeront pas comme dangereuse. Pendant ce temps, le modèle mobilisera ses ressources pour obéir à l’instruction d’endosser un rôle et accordera moins d’attention au respect des règles de sécurité.
Quelle est la différence entre un prompt « DAN » et un jailbreak universel ?
Le tristement célèbre prompt « DAN » désigne une technique de jeu de rôle qui consiste à demander à un modèle d’adopter un personnage qui ignorera les règles de sécurité (« do anything now », soit « faire n’importe quoi immédiatement ») et se contentera d’exécuter les instructions fournies par l’utilisateur. Une attaque par jailbreak universel utilise un algorithme informatique pour créer une chaîne de caractères qui, ajoutée à n’importe quel prompt, neutralise les règles de sécurité du modèle.
Quels sont les risques juridiques et les responsabilités liés au contournement des protections des systèmes d’IA ?
Le contournement des restrictions des systèmes d’IA peut engendrer de nombreux risques et responsabilités pour les organisations qui les exploitent. Il peut, par exemple, entraîner l’exposition de données clients sensibles, la diffusion de fausses informations, des manquements aux obligations de conformité ou diverses actions illégales menées par des agents autonomes. Les organisations pourraient s’exposer à des amendes réglementaires, à des poursuites judiciaires, voire à des poursuites pénales.
Les paramètres de sécurité des API peuvent-ils empêcher complètement les tentatives de contournement des restrictions ?
Non, les paramètres de sécurité des API ne peuvent pas empêcher complètement les tentatives de contournement des protections. Les attaquants peuvent contourner les filtres des API à l’aide d’un encodage Base64 ou de techniques d’obscurcissement similaires. En outre, les filtres des API ne parviennent souvent pas à détecter les instructions dissimulées dans du texte ordinaire. De plus, les tentatives indirectes de contournement des protections cachées dans du contenu tiers peuvent être particulièrement difficiles à détecter et nécessitent des contrôles supplémentaires sur le contenu externe ou récupéré.
Comment sécuriser les systèmes et applications d’IA pendant l’inférence et lors de leur exécution ?
La sécurisation des systèmes d’IA pendant l’inférence et l’exécution nécessite des contrôles capables d’inspecter en temps réel les invites, les réponses, les actions des agents et l’utilisation des outils. Une sécurité d’exécution propre à l’IA peut contribuer à bloquer les injections d’invites, à empêcher les fuites de données sensibles, à faire respecter les politiques et à encadrer les interactions des modèles et des agents avec les utilisateurs, les données, les API et les outils connectés.
Quelles fonctionnalités de F5 contribuent à la sécurité de l’IA en entreprise ?
F5 AI Guardrails contribue à faire respecter les politiques d’exécution et à protéger contre des risques tels que l’injection de prompts, les fuites de données, les résultats préjudiciables et les actions dangereuses des agents. F5 AI Red Team s’appuie sur des tests adversariaux pour détecter les vulnérabilités et les faiblesses avant que les attaquants ne les découvrent. F5 AI Gateway fournit un point de contrôle centralisé pour régir l’accès aux modèles, aux agents et aux outils, tandis que F5 Workforce AI Security offre une visibilité sur les usages autorisés et non autorisés de l’IA dans toute l’entreprise. Ensemble, ces fonctionnalités font partie de la F5 AI Security Platform. Pour une protection plus étendue des applications, des API et des environnements distribués, la F5 Application Delivery and Security Platform (ADSP) réunit également des fonctionnalités telles que la protection des applications web et des API, la gestion des bots, l’atténuation des attaques DDoS et la mise à disposition des applications.
