Comment les robots attaquent les grands modèles de langage : Le Top 10 du LLM de l'OWASP

1. Injection rapide

Une attaque par injection rapide cherche à modifier le comportement des LLM de manière malveillante qui, selon l'OWASP, peut amener les modèles « à violer les directives, à générer du contenu préjudiciable, à permettre un accès non autorisé ou à influencer des décisions critiques ». Pour influencer le comportement des modèles par le biais d’incitations, il peut être nécessaire pour l’adversaire d’injecter de nombreuses incitations, en inondant le modèle d’incitations nuisibles pour maximiser les dommages ou pour trouver une incitation qui permet d’atteindre le résultat souhaité. Pour saisir un nombre suffisamment important d’invites malveillantes, les adversaires auront besoin de robots pour l’automatisation. 

2. Divulgation d'informations sensibles

Dans la course à la création de LLM qui apportent de la valeur commerciale aux employés et aux clients, les organisations formeront des modèles sur de vastes magasins de données propriétaires de l'organisation. Cependant, ces magasins de données peuvent contenir des informations sensibles, notamment des données personnelles et des secrets commerciaux. Les adversaires vont presque certainement sonder ces modèles dans l’espoir de divulguer ces données sensibles . Et comme les adversaires ne savent peut-être pas exactement quelles données ils recherchent et comment les demander spécifiquement, ils peuvent adopter une approche de force brute, en émettant de nombreuses demandes dans l’espoir que l’une d’entre elles divulgue des informations sensibles précieuses. Pour exécuter un grand nombre d'invites sur des modèles, les adversaires cherchant à étendre leurs attaques déploieront des robots.

3. Chaîne d'approvisionnement

Comme tout système d’information, les LLM ont des dépendances, notamment des données de formation, des modèles de base et des plates-formes de déploiement, ce qui signifie que les adversaires peuvent compromettre un LLM en compromettant sa chaîne d’approvisionnement . Pour compromettre les dépendances, les adversaires utiliseront probablement des robots pour manipuler les magasins de données avec de fausses informations, pirater les systèmes d'authentification avec le bourrage d'informations d'identification ou des proxys de phishing en temps réel, et rechercher des vulnérabilités d'autorisation.

4. Empoisonnement des données et des modèles

Dans l’empoisonnement des données, les adversaires manipulent les données de pré-formation, de réglage fin ou d’intégration pour introduire des vulnérabilités, des portes dérobées ou des biais. Selon l’OWASP, « cette manipulation peut compromettre la sécurité, les performances ou le comportement éthique du modèle, conduisant à des résultats nuisibles ou à des capacités altérées ». Bien qu'il existe de nombreuses méthodes que les adversaires peuvent employer pour manipuler les données, les robots sont un outil courant dans de nombreux types d'attaques, allant de la rupture de l'authentification ou de l'autorisation à l'insertion de fausses données dans des magasins de données via des applications dépourvues de protection contre les robots.

5. Mauvaise gestion des sorties

Une gestion incorrecte des sorties fait référence à un échec de vérification si la sortie d'un modèle LLM pourrait nuire à un système qui s'appuie sur cette sortie. Alors que les vulnérabilités de la chaîne d’approvisionnement et l’empoisonnement des données et des modèles font référence aux compromissions des systèmes en amont du modèle LLM, une mauvaise gestion des sorties a un impact sur les systèmes en aval, c’est-à-dire sur les systèmes qui dépendent des sorties du modèle LLM. Selon l'OWASP , « l'exploitation réussie d'une vulnérabilité de gestion de sortie incorrecte peut entraîner des scripts intersites (XSS) et des falsifications de requêtes intersites (CSRF) dans les navigateurs Web, ainsi que des falsifications de requêtes côté serveur (SSRF), une escalade de privilèges ou une exécution de code à distance sur les systèmes back-end. »

Pour envisager les choses d’une autre manière, l’adversaire utilise le LLM pour attaquer une autre application qui s’appuie sur la sortie du LLM. Bien qu'un attaquant puisse exploiter cette vulnérabilité via des entrées soigneusement élaborées à la main dans une application, l'attaquant peut tenter de forcer l'attaque via l'automatisation, en essayant de nombreuses variantes pour découvrir une entrée qui produit une sortie qui nuit à une application en aval. L'automatisation tentera de forcer une sortie malveillante du modèle et de tester si la sortie a eu l'effet néfaste souhaité sur l'application. Pour mettre à l'échelle ce type de sondage, des robots seront nécessaires.

6. Agence excessive

L’agence excessive est une forme d’escalade de privilèges réalisée via un système basé sur le LLM. La vulnérabilité provient d'un système basé sur LLM exécuté avec des privilèges élevés, lui permettant d'appeler des fonctions ou d'interagir avec d'autres systèmes. L'adversaire, ne sachant pas où le système basé sur LLM a élevé ses privilèges ou comment exploiter cette escalade, utilisera probablement l'automatisation pour saisir plusieurs invites, dans l'espoir de déclencher et d'exploiter une escalade de privilèges.

7. Fuite d'invite du système

Les applications construites sur des LLM fournissent souvent au LLM des instructions d'invite système qui guident le comportement du modèle pour répondre aux exigences de l'application. En pratique, les invites système peuvent contenir des secrets : des chaînes de connexion à des bases de données, du code propriétaire, de la propriété intellectuelle ou d’autres contenus que les entreprises doivent garder en sécurité. La fuite d'invite système est donc une forme spécifique d'injection d'invite qui amène une application à révéler par inadvertance ses instructions système.

Forcer un LLM à exposer ces secrets via des invites n’est pas une mince affaire, et il est presque certain que les adversaires développeront des scripts automatisés pour sonder plus efficacement les données sensibles intégrées dans les invites du système.

8. Faiblesses du vecteur et de l'intégration

Les applications LLM améliorent souvent la sortie du modèle grâce à un contexte amélioré, fourni aux modèles via une technique appelée génération augmentée par récupération (RAG). Le contenu fourni aux LLM via RAG n'est pas du texte brut, mais plutôt des vecteurs prétraités avec des métadonnées et du contenu intégrés. Selon l'OWASP , « les faiblesses dans la manière dont les vecteurs et les intégrations sont générés, stockés ou récupérés peuvent être exploitées par des actions malveillantes (intentionnelles ou non) pour injecter du contenu nuisible, manipuler les sorties de modèles ou accéder à des informations sensibles ». En d’autres termes, les adversaires peuvent s’en prendre au contenu du RAG et à son traitement pour attaquer le système LLM.

Les entreprises mettent en œuvre leurs propres processus et définissent la portée du contenu RAG pour répondre aux besoins spécifiques de leur organisation, ce qui signifie que le contenu et ses défauts seront uniques à l'organisation. Du point de vue de l’adversaire, découvrir ces failles ne sera pas facile, cela nécessitera donc certainement une exploration automatisée, c’est-à-dire l’utilisation de bots.

9. Désinformation

Lorsque les LLM produisent des informations fausses ou trompeuses , les systèmes qui s'appuient sur ces informations peuvent mal fonctionner, ce qui peut entraîner des failles de sécurité, des atteintes à la réputation et une responsabilité juridique. Les LLM peuvent produire de la désinformation par le biais d’hallucinations ou en raison de biais et de lacunes dans les données de formation.  

Les adversaires cherchant à exploiter les hallucinations automatiseront probablement leur analyse des invites et des réponses. Par exemple, en automatisant le processus de génération de code (c’est-à-dire en utilisant un LLM pour générer de nombreuses instances de code informatique), les adversaires peuvent trouver des références de code à des bibliothèques de logiciels qui n’existent pas réellement. L'adversaire peut alors créer une bibliothèque de logiciels malveillants dans n'importe quel référentiel de code imaginé par le LLM. Si le code généré par le LLM n’est pas correctement examiné, la bibliothèque malveillante sera intégrée dans le produit publié.

Les adversaires peuvent également utiliser des robots pour manipuler les données de formation, en saisissant intentionnellement d’énormes quantités de données destinées à biaiser le modèle.

10. Une consommation sans limite

La dixième vulnérabilité OWASP LLM, consommation illimitée , correspond étroitement à la vulnérabilité de l'API OWASP appelée consommation illimitée de ressources ainsi qu'à la menace automatisée OWASP appelée déni de service . L'adversaire dépasse le nombre prévu de requêtes à un point tel que le service d'inférence subit un déni de service, une dégradation des performances et des coûts excessifs. Selon l’OWASP, « les exigences informatiques élevées des LLM, en particulier dans les environnements cloud, les rendent vulnérables à l’exploitation des ressources et à l’utilisation non autorisée ». Pour dépasser l’utilisation prévue, les adversaires utiliseront presque certainement des robots pour augmenter le volume des demandes.

Mise en œuvre de protections contre les robots

Alors que de nombreuses organisations sont confrontées à la pression de devoir agir rapidement pour mettre sur le marché des capacités d'IA et que les implications des LLM en matière de sécurité ne sont pas entièrement comprises, elles devraient envisager de mettre en œuvre des protections contre les robots devant les applications basées sur LLM ainsi que devant les applications qui alimentent les modèles LLM en données. Plus les adversaires peuvent lancer d’attaques, plus grandes sont leurs chances de succès. F5 fournit un service de protection contre les robots particulièrement efficace, F5 Distributed Cloud Bot Defense , lui-même basé sur l'IA, qui aide les organisations à prendre le dessus sur les adversaires qui utilisent des robots et l'automatisation pour cibler les applications LLM.

En savoir plus sur Distributed Cloud Bot Defense.