Presentamos la clasificación CASI

Lee EnnisGerente sénior de Ciencia de Datos | F5

La adopción de la IA se está acelerando más rápido que la de cualquier tecnología anterior.

Lo que comenzó con unos pocos grandes modelos y proveedores se ha convertido en un vasto ecosistema de modelos de IA comerciales y de código abierto, cada uno con sus propias ventajas y riesgos. Ante los millones de modelos disponibles, las empresas que adoptan la IA necesitan información transparente sobre los riesgos que muestre exactamente qué amenazas introduce cada modelo en su entorno.

Tras la adquisición de CalypsoAI por parte de F5, nos complace presentar la clasificación del Índice Integral de Seguridad de la IA (CASI) para ofrecer a los responsables de IA y GRC información detallada sobre los distintos perfiles de riesgo de los modelos de IA más destacados. Fundada en 2018, CalypsoAI ha sido pionera en la investigación sobre seguridad de la IA y ha creado una de las mayores bibliotecas de vulnerabilidades de IA, que actualiza periódicamente con más de 10.000 nuevos prompts de ataque al mes. Partiendo de esta base, las pruebas de la clasificación evalúan de forma integral la seguridad de los modelos base y los sistemas de IA, centrándose en los modelos más populares y en los que utilizan nuestros clientes.

¿Cómo funcionan las pruebas de CASI?

Estas herramientas se desarrollaron para responder a las necesidades empresariales a la hora de seleccionar un modelo listo para producción, ayudando a los CISO y a los desarrolladores a crear soluciones que prioricen la seguridad. Las tablas de clasificación eliminan el ruido en el ámbito de la IA y sintetizan las complejas cuestiones sobre la seguridad de los modelos en cinco métricas clave:

1. Puntuación CASI: Una métrica compuesta diseñada para medir la seguridad general de un modelo (metodología a continuación).
2. Puntuación de resistencia agéntica (ARS) - Evalúa la capacidad de un modelo para comprometer un sistema de IA completo. Para ello, desplegamos nuestro equipo de agentes de ataque autónomos, entrenados para atacar el sistema, extraer información y comprometer la infraestructura. De este modo, estos agentes pueden extraer información de identificación personal (PII) confidencial de bases de datos vectoriales, comprender la arquitectura del sistema y comprobar la alineación del modelo mediante instrucciones explícitas.
3. Rendimiento - El rendimiento medio del modelo se basa en pruebas de referencia populares como MMLU, GPQA, MATH y HumanEval.
4. Relación entre riesgo y rendimiento (RTP) - Información sobre el equilibrio entre la seguridad y el rendimiento del modelo.
5. Coste de la seguridad (CoS) - El coste actual de inferencia en relación con el CASI del modelo, que permite evaluar el impacto financiero de la seguridad.

La clasificación del Índice Integral de Seguridad de la IA (CASI) en F5 Labs.

¿Qué es la puntuación CASI y por qué es importante?

CASI es una métrica desarrollada para responder a la compleja pregunta: «¿Hasta qué punto es seguro mi modelo?». Una puntuación CASI más alta indica que el modelo o la aplicación son más seguros. Aunque muchos estudios sobre ataques o ejercicios de red teaming contra modelos se basan en la tasa de éxito de los ataques (ASR), esta métrica suele pasar por alto las diferencias en el impacto de cada ataque. La ASR tradicional considera que todos los ataques son iguales, lo cual resulta engañoso. Por ejemplo, un ataque que permite sortear el candado de una bicicleta no debería equipararse a otro que comprometa los códigos de lanzamiento nuclear. Del mismo modo, en el ámbito de la IA, un modelo pequeño y sin protección podría verse comprometido fácilmente mediante una simple solicitud de información confidencial, mientras que un modelo de mayor tamaño podría requerir técnicas sofisticadas, como atacantes de IA agéntica autónomos y coordinados, para quebrantar su alineación. CASI refleja este matiz al distinguir entre ataques simples y complejos y establecer el punto de ruptura defensivo (DBP) de un modelo: la vía de menor resistencia y los recursos computacionales mínimos necesarios para que un ataque tenga éxito.

Puntuación de resistencia agéntica (ARS): pruebas de estrés de modelos más allá de CASI

Los análisis estándar de vulnerabilidades de la IA ofrecen una visión de referencia de la seguridad de los modelos, pero apenas permiten comprender cómo podría comportarse un sistema de IA ante ataques reales.

Para subsanar esta carencia, utilizamos F5 AI Red Team, una sofisticada tecnología de red teaming que dirige enjambres de agentes de IA autónomos que simulan un equipo de analistas de amenazas persistentes e inteligentes. Estos agentes investigan, aprenden y se adaptan, ejecutando ataques de varias fases diseñados para revelar vulnerabilidades críticas que las pruebas estáticas suelen pasar por alto.

Este riguroso proceso de pruebas genera una ARS, una medida cuantitativa de la capacidad defensiva de un sistema de IA, valorada en una escala de 0 a 100. Una puntuación ARS más alta indica que, para vulnerar el sistema, se requiere un atacante más sofisticado, persistente y bien informado. Este valor comparable, obtenido a partir de complejas secuencias de ataque, se calcula en tres categorías fundamentales:

• Sofisticación necesaria: ¿Cuál es el nivel mínimo de ingenio que necesita un atacante para vulnerar la IA? ¿Puede el sistema resistir estrategias avanzadas y específicas, o sucumbe ante ataques más sencillos y habituales?
• Resistencia defensiva – ¿Cuánto tiempo puede mantenerse seguro el sistema de IA ante un ataque prolongado y adaptativo? ¿Sucumbe tras unas pocas interacciones o resiste frente a ataques persistentes y en constante evolución?
• Contrainteligencia – ¿Está la IA entrenando involuntariamente a sus atacantes? Este vector mide si un ataque fallido revela información crítica, como la naturaleza de sus filtros, proporcionando sin querer una hoja de ruta para futuros ataques.

¿Cuáles son las últimas tendencias?

Nuestro equipo de F5 Labs ha elaborado un análisis detallado de las últimas tendencias observadas en nuestras pruebas de septiembre. Para obtener información exhaustiva sobre las técnicas, vulnerabilidades y exploits en auge, vuelva cada mes para mantenerse al día de las últimas tendencias en seguridad de la IA.

Mantenerse al día con el panorama de los modelos de IA

La superficie de ataque de la IA seguirá evolucionando, y F5 se compromete a proporcionar a las organizaciones la información que necesitan para adaptar la seguridad de la IA al mismo ritmo. Como ocurre con cualquier tecnología nueva, la IA siempre conllevará un grado de riesgo «distinto de cero». El primer paso para lograr una seguridad integral de la IA es comprender dónde existen los riesgos, y las clasificaciones de CASI seguirán contribuyendo a esa comprensión a medida que el panorama de los modelos de IA evolucione continuamente.

¿Le interesa obtener más información? Las mismas pruebas de seguridad ofensiva con agentes de IA que utilizamos para evaluar modelos base pueden aplicarse y adaptarse a su entorno de IA para ofrecerle un análisis aún más exhaustivo con F5 AI Red Team.

Sobre el autor

Lee EnnisGerente sénior de Ciencia de Datos | F5

Lee Ennis dirige el equipo de investigación y ciencia de datos de IA de F5, donde se centra en desarrollar soluciones avanzadas de seguridad para la IA que ayudan a las empresas a implementar y supervisar de forma segura modelos de lenguaje de gran tamaño (LLM) y sistemas de IA generativa. Su equipo combina conocimientos especializados en aprendizaje automático, pruebas adversariales y garantía de modelos para identificar vulnerabilidades y reforzar la confianza en los entornos basados en IA.

Más artículos de Lee Ennis