Observabilidad en la seguridad de la IA: si no puedes ver lo que está pasando, no puedes detenerlo

F5 Newsroom Staff

Comprender la observabilidad

En el ecosistema de la inteligencia artificial (IA), que evoluciona rápidamente, los grandes modelos de lenguaje (LLM) se han convertido en las herramientas más potentes y transformadoras del conjunto de recursos de la IA. Diseñados para procesar y comprender el lenguaje humano, estos modelos están revolucionando ámbitos como la atención al cliente, la tecnología, la industria farmacéutica, las finanzas, el comercio minorista y muchos otros, además de transformar el panorama del software como servicio (SaaS).

A medida que estos modelos de IA aumentan en capacidad y complejidad, ofrecen un potencial sin precedentes para impulsar la productividad y la innovación. Su implantación en entornos empresariales también plantea retos específicos, el más grave de los cuales es una superficie de ataque mucho mayor, seguido de cerca por una visibilidad fragmentada en silos.

En pocas palabras, cuando se implementan varios modelos en una organización, incluidos los modelos multimodales, estos funcionan en paralelo en lugar de integrarse, lo que conlleva un amplio abanico de vulnerabilidades. Esto significa que los equipos de seguridad tienen una visión fragmentada del sistema que deben proteger y defender, cuando lo que realmente necesitan es una visibilidad completa y fluida de todos los modelos en funcionamiento y de las interacciones entre ellos.

En una empresa, estos podrían incluir grandes modelos externos como ChatGPT; modelos especializados como BloombergGPT; modelos integrados en aplicaciones SaaS como Salesforce; modelos de generación aumentada por recuperación (RAG); y pequeños modelos internos ajustados con datos de la empresa. En conjunto, estos modelos pueden contarse por decenas o incluso por cientos, y ese crecimiento no va a ralentizarse a corto plazo. 

Aquí entra en juego el concepto de observabilidad. La observabilidad responde a la necesidad imperiosa de poder visualizar, evaluar y sintetizar información sobre el rendimiento y el comportamiento de los modelos; por ejemplo, sus procesos de toma de decisiones, limitaciones inherentes, fiabilidad, eficiencia y eficacia. Integrar una capa de observabilidad en el marco de despliegue de modelos sienta unas bases sólidas para el uso satisfactorio, la seguridad y el mantenimiento de las aplicaciones basadas en IA.

Las ventajas de la observabilidad de modelos

La capacidad de observar el comportamiento de los modelos puede proporcionar información sobre posibles tendencias y patrones de ataque, así como análisis más detallados relacionados con las finanzas, las operaciones e incluso posibles problemas de personal. La visibilidad de las siguientes áreas clave puede traducirse en una mejor asignación de recursos, una mayor productividad, más innovación y una ventaja competitiva.

• Garantía del rendimiento: Observar los modelos en funcionamiento —desde la conexión con la API hasta la respuesta del modelo a la consulta— permite a las organizaciones supervisar y comparar continuamente métricas de rendimiento esenciales, como la latencia, el rendimiento y la precisión (tanto dentro de cada modelo como entre distintos modelos). Esta supervisión en tiempo real facilita la identificación y mitigación inmediatas de los cuellos de botella, lo que garantiza una experiencia de usuario uniforme con los sistemas de IA y el cumplimiento de los criterios de rendimiento.
• Gestión de errores: Un marco de observabilidad sólido recopilará y registrará métricas detalladas para ofrecer a los administradores una visión exhaustiva de los procesos de toma de decisiones de los modelos, lo que facilitará la rápida identificación y resolución de errores y fomentará la confianza en el rendimiento de los modelos.
• Análisis de uso: Las herramientas de observabilidad permiten analizar situaciones de interacción reales, desde el seguimiento de los tiempos de respuesta y las llamadas a la API hasta el análisis de los patrones de tráfico y la identificación de casos de uso recurrentes. La supervisión en tiempo real del funcionamiento de los modelos (tasas de error, uso de tokens, etc.) y de las interacciones de los usuarios (análisis de instrucciones y respuestas para detectar contenido sensible o prohibido, intentos de ataque, etc.) puede aportar información que ayude a las organizaciones a perfeccionar y reajustar continuamente los modelos en función de su uso real.
• Deriva del modelo: Una visibilidad clara del rendimiento de los modelos de IA permite a los administradores y desarrolladores detectar su degradación, o «deriva del modelo», provocada por la evolución de los entornos de datos. Saber cuándo se ha producido es fundamental para garantizar que los modelos se vuelvan a entrenar o se ajusten con precisión a tiempo, a fin de mantener la confianza en sus resultados.
• Optimización y escalado de recursos: La implementación de LLM en toda una organización puede conllevar una elevada demanda computacional, como el uso de memoria y CPU/GPU, por lo que la información sobre la utilización de los recursos constituye un conjunto de datos importante a la hora de plantearse la optimización de costes o el escalado para hacer frente a un aumento del número de usuarios o a picos de carga de trabajo.
• Cumplimiento normativo: Conocer el grado de cumplimiento de los sistemas y los usuarios con las políticas internas de uso aceptable, privacidad y de otra índole, así como con los estándares del sector y las normativas gubernamentales, es fundamental en cualquier organización, especialmente en sectores regulados como la sanidad y las finanzas. El uso de soluciones que proporcionen visibilidad y permitan auditar registros detallados y otras métricas puede garantizar que las implementaciones de modelos cumplan los requisitos de privacidad de los datos, seguridad y otros criterios normativos.

La importancia de la observabilidad en la empresa

La innovación impulsará la necesidad de una mayor observabilidad. Los LLM y otros modelos de IA generativa seguirán volviéndose más complejos y automatizados, y la supervisión en tiempo real de todos los aspectos relacionados con el rendimiento, el uso y la seguridad será cada vez más importante. 

Al mismo tiempo, los organismos gubernamentales han intensificado sus esfuerzos mediante la aprobación de normativas, como el Reglamento General de Protección de Datos (RGPD) de la Unión Europea; la elaboración de proyectos legislativos, como la Ley de Inteligencia Artificial de la UE; y la publicación de directrices, como la Orden Ejecutiva de la Administración Biden sobre una inteligencia artificial segura, protegida y fiable y el Marco de Gestión de Riesgos (RMF) del Instituto Nacional de Estándares y Tecnología (NIST). Además de estos mandatos y directrices, los sectores regulados cuentan con sus propias normas laberínticas, los sectores no regulados deben cumplir determinados estándares y las organizaciones disponen de políticas que reflejan y refuerzan sus propios valores corporativos.

A medida que más entidades emitan directrices sobre el despliegue y el uso de los LLM en el ecosistema empresarial, será sumamente importante facilitar, garantizar, supervisar y notificar el cumplimiento de dichas directrices. El incumplimiento podría acarrear importantes consecuencias económicas y reputacionales, con repercusiones posteriores (confianza de los accionistas, ventaja competitiva, confianza de los clientes, etc.). Será cada vez más crucial saber cómo funcionan los modelos en el entorno de producción, cuál es su rendimiento y con qué grado de seguridad operan.

Seguridad de la IA con observabilidad completa

Está claro que observar, analizar y evaluar el rendimiento y el comportamiento de los modelos de IA es fundamental para mejorar su rendimiento y generar resultados fiables y dignos de confianza. Integrar una plataforma que proporcione una observabilidad completa y fluida en toda la infraestructura de seguridad digital de la organización parece la definición misma de una decisión revolucionaria. Nuestra solución de seguridad y habilitación de la IA en tiempo de ejecución es ese elemento revolucionario.

Nuestra solución es mucho más que una mera capa de confianza que protege los modelos frente a amenazas tanto internas como externas gracias a sus funcionalidades pioneras en el mercado, como más de una docena de escáneres de contenido personalizables y una auditoría detallada de los usuarios y del uso. Cuenta con una interfaz clara, intuitiva y fácil de usar, diseñada para resultar atractiva a una amplia variedad de usuarios, pero también ofrece un acceso mediante API igualmente sencillo para agilizar su uso por parte de desarrolladores y otros usuarios técnicos.

El uso de API, incluidas las configuradas para personas concretas y equipos identificados, ofrece medios adicionales para obtener información sobre el sistema, así como para supervisar y analizar el estado de la seguridad, el rendimiento de los modelos y los datos analíticos de los usuarios. Los administradores pueden realizar un seguimiento de las llamadas a las API y revisar los endpoints para identificar los más utilizados, controlar la latencia y las tasas de error, supervisar la compatibilidad entre versiones, detectar patrones de comportamiento emergentes o inusuales, vigilar las dependencias y analizar el tráfico para identificar posibles cuellos de botella y garantizar que las reglas de enrutamiento se mantengan intactas.

Nuestra plataforma funciona como una superestructura de seguridad bidireccional prácticamente invisible que abarca toda la configuración de su sistema de IA sin añadir «peso» ni latencia a los tiempos de respuesta de los modelos. Nuestra solución es escalable, independiente del modelo y personalizable, y ofrece controles de acceso basados en políticas que pueden aplicarse a nivel individual, de equipo o de organización. Es el componente sólido, flexible y ágil que todo marco de seguridad de IA necesita para afrontar los retos presentes y futuros del despliegue de modelos de IA generativa.

Sobre el autor

F5 Newsroom Staff

Más artículos de F5 Newsroom Staff