El auge del uso de la IA desde 2020 no tiene precedentes. En términos de adopción, la IA avanza más rápido que la nube, que la tecnología móvil y, desde luego, que Internet. Gartner predice que más del 80 % de las empresas implementarán la IA este año.
Al clasificar el recorrido de una empresa en la adopción de la IA, observamos que su madurez se divide en cuatro categorías, que a menudo se desarrollan en paralelo en lugar de hacerlo de forma secuencial:
- La categoría 1 corresponde a la IA de uso general y la productividad; por ejemplo, empleados que utilizan ChatGPT, Gemini, Copilot, etc.
- La categoría 2 corresponde a los casos en que las organizaciones tienen usos internos y crean chatbots personalizados para funciones como RR. HH. o TI.
- La categoría 3 incluye casos de uso externos, como el desarrollo de aplicaciones de IA generativa de cara al público, incluidos los chatbots de atención al cliente.
- La categoría 4 corresponde a los flujos de trabajo agénticos, que están formados por sistemas complejos que realizan acciones de forma autónoma en nombre de los usuarios.
Es en estas tres últimas categorías donde la seguridad se vuelve crítica. Esto se debe a que las organizaciones están desarrollando software complejo sobre modelos de IA no deterministas, lo que genera vulnerabilidades que los cortafuegos tradicionales sencillamente no pueden detectar.
“Está claro que las empresas que implementan IA necesitan realizar rápidamente pruebas automatizadas frente a vulnerabilidades conocidas, aunque solo sea para establecer un punto de referencia.”
La seguridad siempre es una prioridad para las empresas, pero, con la IA, la preocupación es distinta: se trata de un punto ciego. Los responsables de seguridad llevan 20 años implementando y configurando firewalls de aplicaciones web (WAF) para proteger sus aplicaciones web, sitios web e incluso API. Sin embargo, aunque los WAF son extremadamente útiles, presentan limitaciones en lo que respecta a la IA. El procesamiento del lenguaje natural utilizado en la IA puede plantear problemas para la detección de los WAF tradicionales; en pocas palabras, no se puede proteger una conversación con un firewall. Las empresas necesitan un nuevo enfoque para proteger sus aplicaciones y API estén donde estén, y garantizar la seguridad de su IA en todas partes.
Por eso, el 75 % de los CISO afirma haber sufrido incidentes de seguridad relacionados con la IA; sus defensas actuales sencillamente no están diseñadas para detectar estas amenazas. También por eso, el 91 % ya ha detectado intentos de ataque contra su infraestructura de IA y nada menos que el 94 % está dando prioridad a las pruebas de sus sistemas de IA.
Nuevas categorías de ataques cognitivos
En la era de la IA, las organizaciones no solo se enfrentan a vulnerabilidades en el código, sino también a categorías completamente nuevas de ataques cognitivos, entre las que se incluyen:
- Inyección de prompts, tanto directa como indirecta
- Envenenamiento de datos durante la fase de entrenamiento
- Jailbreak sofisticado mediante técnicas como los ataques con lenguaje simbólico
- Compresión de tokens, mediante la cual los atacantes ocultan instrucciones maliciosas en formatos que los modelos de IA pueden leer, pero los humanos no
Las medidas de seguridad tradicionales gestionan entradas deterministas, pero la inyección de instrucciones y otros ataques mediante lenguaje natural son problemas semánticos, no de coincidencia de patrones. No se trata de fallos aislados, sino de riesgos empresariales sistémicos derivados de las arquitecturas basadas en IA.
Hay numerosos ejemplos reales de cómo la IA está cambiando el modelo de amenazas. El verano pasado, una brecha de seguridad en un proveedor internacional de software se debió a un fallo lógico en el aislamiento entre inquilinos del servidor MCP que permitió la exposición de datos entre organizaciones. Se trata de un fallo clásico de los sistemas multiinquilino, pero es más peligroso en los sistemas basados en LLM porque los datos filtrados aparecen expresados en lenguaje fluido, lo que dificulta mucho más su detección.
Mientras tanto, un incidente en una empresa tecnológica global puso de manifiesto un fallo diferente: la ruptura de los límites de confianza. Una inyección de instrucciones redefinió el papel de un chatbot, y los sistemas de back-end confiaron en sus solicitudes de uso de herramientas sin aplicar la autorización en el servidor. El problema no era que el modelo ignorase las reglas, sino que se le había delegado indebidamente la autorización.
Estos son solo dos ejemplos que ilustran un panorama mucho más amplio de riesgos emergentes. El sector se apresura a clasificar estas vulnerabilidades de la IA. Están surgiendo marcos como el Top 10 de OWASP para aplicaciones de modelos de lenguaje de gran tamaño (LLM), el Top 10 de OWASP para aplicaciones agénticas, Mitre Atlas y el Marco de Gestión de Riesgos de IA del NIST, pero no disponemos de una base de datos definitiva ni de un estándar unificado que defina cómo debe ser realmente un sistema seguro.
El enfoque tradicional no puede seguir el ritmo
La presión que afronta actualmente el sector para implementar la IA es existencial. Los desarrolladores utilizan la IA para escribir código 10 veces más rápido que nunca; las organizaciones están lanzando literalmente nuevas funcionalidades —e incluso productos— de la noche a la mañana.
Al mismo tiempo, la regulación está acelerando las cosas en materia de cumplimiento normativo. La Ley de IA de la UE, por ejemplo, exige explícitamente la realización de pruebas adversariales en sistemas de IA de alto riesgo y de uso general. En la práctica, esto significa que los ejercicios de red teaming diseñados específicamente para este fin—es decir, probar los sistemas de IA mediante ataques adversariales simulados— deben considerarse ya un componente esencial de la arquitectura de seguridad de la IA, de forma que se aborden los retos reales a los que se enfrentan estos sistemas.
Mientras los CISO y los equipos de seguridad intentan protegerse frente a cambios que se producen a la velocidad de las máquinas, pueden sentir que están tratando de detener un tsunami con un cubo. Las cuentas no salen. El ritmo es inasumible. La superficie de ataque de la IA es radicalmente distinta y los enfoques tradicionales no pueden seguirle el paso.
Está claro que el red teaming tradicional no es eficaz y que se necesita un red teaming específico para la IA a fin de resolver la tensión entre velocidad y control. Tras hablar con los clientes y ayudarles a proteger sus sistemas de IA, hay cuatro áreas clave que debemos tener en cuenta:
En primer lugar, la evolución de las amenazas: los ataques de IA evolucionan más rápido que los conjuntos de pruebas estáticos. En cuanto se automatizan las comprobaciones, el modelo de IA o el ataque cambian, y los equipos de seguridad acaban manteniendo las pruebas en lugar de reducir el riesgo.
En segundo lugar, la complejidad de los agentes: dado que los agentes de IA no son sistemas deterministas, al añadir recuperación de información, herramientas y memoria, las combinaciones son prácticamente infinitas. Ya no se está probando código, sino una conversación que cambia en función del contexto.
En tercer lugar, la automatización y la escalabilidad: las pruebas de seguridad manuales mediante equipos rojos no son escalables para estos sistemas. Un chatbot puede ser manejable, pero cientos o miles no lo son. No se puede depender de personas para reproducir miles de conversaciones adversarias cada vez que se actualiza el modelo o el prompt del sistema.
Por último, informes que permitan actuar: los hallazgos deben ser reproducibles y permitir tomar medidas. «El bot se comportó mal» no permite actuar. Los ingenieros necesitan los parámetros de la conversación y las condiciones que desencadenaron el comportamiento; de lo contrario, las correcciones y las medidas de subsanación se estancarán.
Garantizar que la IA se comporte según lo previsto, incluso ante un ataque
Contrastemos esto con algunos ejemplos reales. Uno de nuestros clientes es un banco global que opera en un entorno altamente regulado. Cuando empezamos a trabajar con este cliente, tenía más de 50 casos de uso de IA en recursos humanos, compras y ciberseguridad, pero no podía poner en marcha ninguno porque el banco no podía demostrar su seguridad ante sus auditores internos.
Las pruebas de seguridad ofensivas de IA con F5 AI Red Team proporcionaron al banco las pruebas que necesitaba para comprender cómo se comportaban realmente sus sistemas de IA: dónde podían producirse filtraciones de datos, cómo podían manipularse las instrucciones y en qué puntos fallaban los controles de su entorno.
Este cliente está utilizando las conclusiones de AI Red Team para mejorar su postura defensiva mediante controles de seguridad personalizados con F5 AI Guardrails. Esta combinación permite al banco ampliar el uso de la IA en toda la empresa con plena confianza en su postura de seguridad y su programa de gobernanza.
En el sector público, las pruebas dejan de ser voluntarias y pasan a ser obligatorias. Siguiendo las directrices de organismos como NIST y CISA, las entidades del sector público están tomando medidas, como la realización de pruebas de estrés adversariales para identificar riesgos críticos para la misión, como el uso de datos biológicos con fines armamentísticos. En este contexto, los ejercicios de red teaming de IA no solo buscan reducir el riesgo, sino también mantener la continuidad de la misión y la autorización para operar.
Tanto si protege los datos de sus clientes como los servicios públicos, el requisito es el mismo: una garantía continua y respaldada por pruebas de que los sistemas de IA se comportan según lo previsto, incluso cuando alguien intenta vulnerarlos.
Cerrar las brechas en materia de cumplimiento
Está claro que las empresas que implementan IA necesitan realizar rápidamente pruebas automatizadas frente a vulnerabilidades conocidas, aunque solo sea para establecer un punto de referencia. El contexto es la nueva superficie de ataque; las defensas estáticas no son eficaces frente a los ataques de agentes de IA, por lo que las organizaciones deben probar las cargas de trabajo, no solo los modelos.
Estas son las brechas del mundo real que los equipos de seguridad están intentando cerrar ahora mismo y las razones por las que el red teaming de IA está cobrando protagonismo. En este entorno, el cumplimiento normativo supone una ventaja competitiva. Con los informes adecuados, la seguridad deja de ser un obstáculo y se convierte en el factor que permite que la IA de una empresa llegue más rápido al mercado.
En ese mundo, el gran número de empresas que tienen previsto implantar la IA este año podrá hacerlo con confianza, en lugar de con miedo, independientemente de la etapa del proceso en la que se encuentren.
Obtén más información aquí sobre cómo probar tus sistemas de IA.
Descubra de la mano de los expertos de F5 cómo AI Red Team acelera las pruebas adversariales continuas aquí.
Sobre los autores
Artículos relacionados del blog
IA agéntica en ciberseguridad: promesas y riesgos
Descubre por qué el uso de la IA agéntica en ciberseguridad es esencial para combatir las amenazas impulsadas por IA y por qué los agentes también generan nuevos riesgos empresariales.
Cómo los clientes de F5 del sector financiero abordan la soberanía digital sin frenar la innovación
¿Cómo se materializa la soberanía digital en el mundo real? Dos proyectos recientes de F5 con clientes muestran cómo distintas empresas están afrontando estos retos.
Soberanía operativa: cómo desarrollar resiliencia en un mundo impredecible
Para muchas organizaciones, la cuestión ya no consiste únicamente en controlar los datos, sino en mantener la capacidad de operar, adaptarse y recuperarse a medida que evolucionan las leyes y las circunstancias.
No se puede proteger una conversación con un cortafuegos: cómo el red teaming de IA se volvió esencial
Dado que las implementaciones de IA avanzan a la velocidad de las máquinas, los métodos tradicionales de prueba de software ya no resultan adecuados.
Protege tu canalización de datos de IA sin ralentizarla
Proteger el flujo de datos de la IA no es opcional. Eso está claro. Lo que resulta mucho menos evidente —y mucho más difícil— es cómo protegerlo adecuadamente.
Las extranets no están muertas; solo necesitan una actualización
Modernice su extranet: descubra cómo F5 y Equinix ofrecen una conectividad para partners repetible, segura y escalable, sin la complejidad de las redes tradicionales.