F5 AI Red Team: ¿Un control puntual o una práctica continua?

Keiko CheungBecario/a de marketing de producto | F5

¿Qué ocurre con la puntuación de seguridad de tu modelo de IA cuando dejas de someterlo a pruebas?

La mayoría de los equipos da por sentado que la respuesta es «nada» porque realizaron una evaluación de equipo rojo antes del lanzamiento, obtuvieron una buena puntuación y pasaron a otra cosa. Sin embargo, todas las organizaciones están modificando las mismas tres variables a la vez: velocidad, escala y seguridad. Quieren lanzar funcionalidades de IA rápidamente, mantener su fiabilidad y hacer ambas cosas en un ecosistema cada vez mayor de modelos, agentes e integraciones, sin renunciar a nada.

Pero, en la práctica, centrarse demasiado en uno de estos aspectos casi siempre va en detrimento de otro. Un equipo que lanza un modelo que se actualiza cada pocas semanas no puede dedicar seis semanas a una revisión manual cada vez, por lo que se siguen considerando válidos los resultados del mes anterior o se mantiene expuesto un modelo sin validar. Red teaming solía ser una casilla que se marcaba antes del lanzamiento, pero ahora las pruebas estáticas y puntuales ya no pueden seguir el ritmo al que evolucionan las amenazas de la IA.

Las pruebas genéricas y estandarizadas no pueden seguir el ritmo de los riesgos específicos de los flujos de trabajo, el sector y el marco normativo de cada organización. Precisamente por eso, los profesionales necesitan ejercicios de red teaming adaptados a su entorno particular y algunos clientes ya los ejecutan integrados directamente en sus procesos e infraestructura.

Qué miden realmente las puntuaciones CASI y ARS

Las pruebas estáticas pueden indicar que un modelo superó una evaluación concreta, pero no permiten saber cómo resiste frente a ataques persistentes, sofisticados o en constante evolución. Por eso, F5 Labs desarrolló dos métricas objetivas, el Índice Integral de Seguridad de la IA (CASI) y la Puntuación de Resistencia Agéntica (ARS), para ofrecer a los equipos de seguridad una forma clara de evaluar modelos, hacer un seguimiento de su nivel de seguridad a lo largo del tiempo e informar a la dirección sobre los riesgos. Esto es lo que mide realmente cada una.

Índice Integral de Seguridad de la IA (CASI) – CASI es una métrica compuesta diseñada para medir la seguridad general de un modelo (metodología aquí). Tiene en cuenta aspectos como cuántos ataques tuvieron éxito, la gravedad que habrían tenido sus consecuencias y cuánto esfuerzo necesitó un atacante para lograrlo. Cuanto mayor sea la puntuación, más sólida será la postura general de seguridad del modelo.

Puntuación de resistencia agéntica (ARS) – La ARS mide la capacidad de todo el sistema de IA para resistir cuando un equipo de agentes de ataque autónomos intenta activamente vulnerarlo, extraer información confidencial, cartografiar la arquitectura del sistema o manipular el modelo mediante ingeniería social. Una ARS alta significa que el sistema mantiene intactas sus medidas de protección incluso bajo una presión sostenida y dirigida, y no solo ante un único intento.

Cómo vemos que se utilizan CASI, ARS y F5 AI Red Team en la práctica

La mayoría de los equipos de seguridad ya utilizan herramientas tradicionales como las pruebas estáticas de seguridad de aplicaciones (SAST) para analizar el código fuente y las pruebas dinámicas de seguridad de aplicaciones (DAST) para evaluar la aplicación en ejecución. Ninguna de estas herramientas se diseñó para comprobar si el modelo de IA subyacente a la aplicación puede ser engañado, manipulado o debilitado gradualmente.

Una puntuación CASI es precisa en el momento en que se mide, pero los modelos y las amenazas no permanecen estáticos. Un modelo que obtiene una puntuación de alrededor de 93 en un ciclo de pruebas puede bajar a entre 73 y 77 un par de meses después. Eso supone una variación de entre 15 y 20 puntos sin que el cliente haya realizado ningún cambio en el código, simplemente porque el modelo subyacente ha cambiado. Por eso, algunos clientes de F5 AI Red Team integran las nuevas pruebas directamente en su canal de lanzamiento de CI/CD. Cada vez que se publica una nueva versión del modelo o una variante ajustada, o cuando ha transcurrido suficiente tiempo, se vuelven a comprobar los valores de referencia de CASI y ARS, en lugar de dar por sentado que la puntuación del trimestre anterior sigue siendo válida.

La clasificación de CASI muestra cómo han variado mes a mes las puntuaciones CASI de los modelos de IA más populares.

Regulación de intenciones personalizadas

Una ejecución estándar de CASI muestra cómo responde un modelo ante una amplia biblioteca de ataques conocidos, pero no detectará automáticamente un riesgo asociado a una nueva función o un requisito legal específicos. Por ejemplo, incorporar un comprobador de síntomas a un chatbot sanitario o dotar a un agente financiero de la capacidad de iniciar una transferencia bancaria son riesgos que una prueba genérica no tiene motivos para buscar. Para situaciones como estas, los clientes crean intenciones de ataque personalizadas y acotadas en torno a una funcionalidad o un requisito normativo específicos.

Por ejemplo, una herramienta multinacional de gestión de contratos podría tener que someterse a pruebas para verificar el cumplimiento de las obligaciones de la Ley de IA de la UE en una región y de una normativa sobre información de identificación personal (PII) completamente distinta en otra. Las intenciones personalizadas permiten a los equipos probar exactamente la norma o funcionalidad cuyo cumplimiento necesitan demostrar, en lugar de depender de una cobertura general.

Creación de un centro de excelencia interno de red teaming

Algunas organizaciones de mayor tamaño (entre ellas, al menos un importante bufete de abogados) han ido un paso más allá y han creado un pequeño equipo interno especializado cuya única función es realizar pruebas de equipo rojo en las aplicaciones de IA del resto de la empresa. Este equipo conoce el panorama de amenazas de la organización y sus resultados de CASI y ARS, y colabora directamente con los equipos de producto y de gestión de vulnerabilidades a medida que se desarrollan nuevas funcionalidades de IA.

Los equipos de seguridad comparten los resultados de CASI con los desarrolladores de aplicaciones para transmitir una idea sencilla: no todos los modelos presentan el mismo nivel de seguridad; dar por hecho lo contrario es lo que permite que los riesgos pasen desapercibidos. Esto subsana una brecha de conocimiento entre los equipos de InfoSec y DevOps, que de otro modo quizá ni siquiera se plantearían los riesgos asociados a cada modelo.

La conclusión es que el panorama de amenazas evoluciona más rápido de lo que la mayoría de los equipos de seguridad pueden seguir de forma manual. El red teaming de IA es una práctica continua que debe avanzar al mismo ritmo que los sistemas que protege. Debe:

• Ser continua: Las evaluaciones manuales que duran semanas no pueden seguir el ritmo al que cambian los modelos y los agentes.
• Acorta la distancia entre detectar un riesgo y corregirlo: Los resultados del equipo rojo se incorporan directamente al proceso de corrección, lo que convierte las pruebas, antes plasmadas en un informe estático, en un motor para actuar con mayor rapidez y de forma priorizada frente a la exposición real.
• Ofrezca a los equipos de seguridad una forma de demostrar su trabajo: Cada evaluación genera una puntuación CASI y otra ARS, lo que proporciona a los equipos una forma objetiva y comparable de hacer un seguimiento de la postura de seguridad a lo largo del tiempo y comunicar claramente los riesgos a la dirección.

El panorama actual de la seguridad está cambiando más rápido de lo que nadie puede predecir, pero con F5 AI Red Team, CASI y ARS, los equipos de seguridad pueden contar con medidas de protección continuas basadas en información sobre amenazas.

Obtenga más información visitando las páginas web de F5 AI Red Team y de las clasificaciones CASI y ARS de F5 Labs.

Sobre el autor

Keiko CheungBecario/a de marketing de producto | F5

Más artículos de Keiko Cheung