Cómo atacan los bots a los modelos de lenguaje grandes: Los 10 mejores programas de maestría en derecho de la OWASP

1.Inyección rápida

Un ataque de inyección Prompt busca alterar el comportamiento de los LLM de formas maliciosas que, según OWASP, pueden provocar que los modelos “violen pautas, generen contenido dañino, permitan acceso no autorizado o influyan en decisiones críticas”. Para influir en el comportamiento de los modelos a través de indicaciones, puede ser necesario que el adversario inyecte muchas indicaciones, inundando el modelo con indicaciones dañinas para maximizar el daño o dar con una indicación que logre el resultado deseado. Para introducir una cantidad suficientemente grande de mensajes maliciosos, los adversarios necesitarán bots para la automatización. 

2.Divulgación de información sensible

En la carrera por crear LLM que aporten valor comercial a empleados y clientes, las organizaciones entrenarán modelos en grandes almacenes de datos de propiedad exclusiva de la organización. Sin embargo, estos almacenes de datos pueden contener información confidencial, incluidos datos personales y secretos comerciales. Es casi seguro que los adversarios investigarán estos modelos con la esperanza de revelar datos sensibles . Y como los adversarios pueden no saber exactamente qué datos están buscando y cómo solicitarlos específicamente, pueden adoptar un enfoque de fuerza bruta, emitiendo muchas solicitudes con la esperanza de que una revele información confidencial valiosa. Para ejecutar una gran cantidad de indicaciones contra los modelos, los adversarios que buscan escalar sus ataques implementarán bots.

3.Cadena de suministro

Como cualquier sistema de información, los LLM tienen dependencias, incluidos datos de entrenamiento, modelos de base y plataformas de implementación, lo que significa que los adversarios pueden comprometer un LLM al comprometer su cadena de suministro . Para comprometer las dependencias, los adversarios probablemente usarán bots para manipular almacenes de datos con información falsa, descifrar sistemas de autenticación con credential stuffing o servidores proxy de phishing en tiempo real y buscar vulnerabilidades de autorización.

4.Envenenamiento de datos y modelos

En el envenenamiento de datos, los adversarios manipulan los datos previos al entrenamiento, al ajuste o a la incorporación para introducir vulnerabilidades, puertas traseras o sesgos. Según OWASP, “esta manipulación puede comprometer la seguridad, el rendimiento o el comportamiento ético del modelo, dando lugar a resultados perjudiciales o capacidades deterioradas”. Si bien existen muchos métodos que los adversarios pueden emplear para manipular datos, los bots son una herramienta común en muchos tipos de ataques, desde romper la autenticación o la autorización hasta insertar datos falsos en almacenes de datos mediante aplicações que carecen de protección contra bots.

5.Manejo inadecuado de la salida

El manejo inadecuado de la salida se refiere a una falla en la verificación de si la salida de un modelo LLM podría dañar un sistema que depende de esa salida. Si bien las vulnerabilidades de la cadena de suministro y el envenenamiento de datos y modelos se refieren a los compromisos de los sistemas anteriores al modelo LLM, el manejo inadecuado de los resultados afecta a los sistemas posteriores; es decir, los sistemas que dependen de los resultados del modelo LLM. Según OWASP , “la explotación exitosa de una vulnerabilidad de manejo de salida inadecuado puede resultar en secuencias de comandos entre sitios (XSS) y falsificación de solicitudes entre sitios (CSRF) en navegadores web, así como falsificación de solicitudes del lado del servidor (SSRF), escalada de privilegios o ejecución remota de código en sistemas backend”.

Para verlo de otra manera, el adversario usa el LLM para atacar otra aplicação que depende de la salida del LLM. Si bien un atacante puede explotar esta vulnerabilidad a través de entradas cuidadosamente diseñadas para una aplicação, el atacante puede intentar aplicar un ataque de fuerza bruta a través de la automatización, probando muchas variaciones para descubrir una entrada que produzca una salida que dañe una aplicação posterior. La automatización intentará forzar una salida maliciosa del modelo y probar si la salida tuvo el efecto nocivo deseado en la aplicação. Para escalar este tipo de sondeo se necesitarán bots.

6.Agencia excesiva

La agencia excesiva es una forma de escalada de privilegios llevada a cabo a través de un sistema basado en LLM. La vulnerabilidad se deriva de un sistema basado en LLM que se ejecuta con privilegios elevados, lo que le permite llamar funciones o interactuar con otros sistemas. El adversario, al no saber dónde el sistema basado en LLM ha escalado privilegios o cómo explotar esa escalada, probablemente usará la automatización para ingresar múltiples indicaciones, con la esperanza de activar y explotar una escalada de privilegios.

7.Fuga de avisos del sistema

Las aplicações creadas en LLM a menudo proporcionan al LLM instrucciones de aviso del sistema que guían el comportamiento del modelo para cumplir con los requisitos de la aplicación. En la práctica, los avisos del sistema pueden contener secretos: cadenas de conexión a bases de datos, código propietario, propiedad intelectual u otro contenido que las empresas deben mantener seguro. La fuga de indicaciones del sistema es, entonces, una forma específica de inyección de indicaciones que hace que una aplicação revele inadvertidamente sus instrucciones del sistema.

Hacer que un LLM exponga estos secretos a través de indicaciones no es trivial, y casi con certeza los adversarios desarrollarán scripts automatizados para investigar de manera más efectiva los datos confidenciales incrustados en las indicaciones del sistema.

8.Debilidades de los vectores y la incrustación

Las aplicações LLM a menudo mejoran la salida del modelo a través de un contexto mejorado, proporcionado a los modelos mediante una técnica conocida como generación aumentada por recuperación (RAG). El contenido proporcionado a los LLM a través de RAG no es texto sin formato, sino vectores preprocesados con metadatos y contenido integrados. Según OWASP , “las debilidades en la forma en que se generan, almacenan o recuperan los vectores y las incrustaciones pueden ser explotadas por acciones maliciosas (intencionadas o no) para inyectar contenido dañino, manipular los resultados del modelo o acceder a información confidencial”. En otras palabras, los adversarios pueden ir tras el contenido de RAG y su procesamiento para atacar el sistema LLM.

Las empresas implementan sus propios procesos y definen el alcance del contenido de RAG para satisfacer las necesidades específicas de su organización, lo que significa que el contenido y sus fallas serán exclusivos de la organización. Desde la perspectiva del adversario, descubrir estos fallos no será fácil, por lo que seguramente será necesaria una exploración automatizada, es decir, el uso de bots.

9.Desinformación

Cuando los LLM producen información falsa o engañosa , los sistemas que dependen de esa información pueden funcionar mal, lo que da lugar a violaciones de seguridad, daños a la reputación y responsabilidad legal. Los LLM pueden producir información errónea a través de alucinaciones o debido a sesgos y lagunas en los datos de entrenamiento.  

Los adversarios que buscan explotar las alucinaciones probablemente automaticen sus indicaciones y análisis de respuestas. Por ejemplo, al automatizar el proceso de generación de código (es decir, utilizar un LLM para generar muchas instancias de código de computadora), los adversarios pueden encontrar referencias de código a bibliotecas de software que en realidad no existen. El adversario puede entonces crear una biblioteca de software malicioso en cualquier repositorio de código que el LLM haya imaginado. Si el código que genera el LLM no se revisa adecuadamente, la biblioteca maliciosa se incorporará al producto lanzado.

Los adversarios también pueden usar bots para manipular datos de entrenamiento, ingresando intencionalmente cantidades masivas de datos destinados a sesgar el modelo.

10.Consumo ilimitado

La décima vulnerabilidad LLM de OWASP, consumo ilimitado , es muy similar a la vulnerabilidad de la API de OWASP denominada consumo ilimitado de recursos, así como a la amenaza automatizada de OWASP denominada denegación de servicio . El adversario excede la cantidad esperada de solicitudes a tal punto que el servicio de inferencia experimenta una denegación de servicio, degradación del rendimiento y costos excesivos. Según OWASP, “las altas demandas computacionales de los LLM, especialmente en entornos de nube, los hacen vulnerables a la explotación de recursos y al uso no autorizado”. Para superar el uso esperado, los adversarios casi con certeza usarán bots para escalar el volumen de solicitudes.

Implementación de protecciones contra bots

Dado que muchas organizaciones enfrentan presión para avanzar rápidamente en el lanzamiento de capacidades de IA al mercado y que las implicancias de seguridad de los LLM no se comprenden completamente, deberían considerar implementar protecciones contra bots en las aplicações basadas en LLM, así como en las aplicações que alimentan los modelos LLM con datos. Cuanto más ataques puedan lanzar los adversarios, mayores serán sus posibilidades de éxito. F5 ofrece un servicio de protección contra bots particularmente eficaz, F5 Distributed Cloud Bot Defense , basado en IA, que ayuda a las organizaciones a obtener la ventaja contra los adversarios que usan bots y automatización para atacar aplicações LLM.

Obtenga más información sobre Distributed Cloud Bot Defense.