¿Qué es la seguridad de la IA?

F5 Newsroom Staff

Aunque la inteligencia artificial (IA) pasó a formar parte del lenguaje cotidiano a finales de 2022 con el lanzamiento de ChatGPT, la seguridad de la IA es un ámbito bastante nuevo, poco conocido y que a menudo se ignora o se descarta, incluso entre los profesionales de la ciberseguridad. Es hora de aclarar cualquier ambigüedad o malentendido sobre qué queremos decir cuando hablamos de seguridad de la IA, las amenazas a las que se enfrenta y los enfoques que deben adoptarse para crear un entorno de IA seguro en toda la empresa.

Una nueva superficie de ataque

La seguridad de la IA se refiere a la aplicación estratégica de medidas y políticas sólidas para proteger los sistemas, los datos y las operaciones de IA de su organización frente al acceso no autorizado, la manipulación, los ataques maliciosos y otras amenazas digitales. Es fundamental que cualquier organización que implemente herramientas de IA incluya la seguridad en su estrategia de uso de la IA, ya que cada nuevo componente incorporado a un sistema digital, incluidas las aplicaciones basadas en IA, aumenta la «superficie de ataque» disponible para que los agentes maliciosos se infiltren en el sistema o le causen daños. 

Proteger los componentes basados en IA que se incorporan a su infraestructura digital, ya sean modelos estadísticos o grandes modelos de lenguaje (LLM), como ChatGPT y otros, es fundamental para mantener la integridad, la privacidad y la fiabilidad de su sistema, así como para fomentar la confianza de los clientes y salvaguardar la reputación de su organización. A medida que aumenta el número de organizaciones que utilizan herramientas y soluciones de IA para la toma de decisiones, las operaciones y las interacciones con clientes que implican información sensible, resulta esencial contar con una estrategia sólida de seguridad de la IA para garantizar que estas herramientas sigan siendo fiables y estén debidamente protegidas frente a amenazas externas o vulnerabilidades internas.

Riesgos de los modelos de IA

Los LLM abarcan un amplio espectro: desde simples juguetes ingeniosos hasta potentes herramientas. Sin embargo, la realidad es que constituyen la incorporación más reciente a la infraestructura de información crítica de una organización y deben tratarse como una superficie de ataque vulnerable. Gran parte del debate inicial sobre los riesgos de los LLM se centró en identificar y abordar amenazas derivadas del comportamiento humano, como la pérdida de datos y el uso indebido. No obstante, las amenazas más insidiosas son los ataques encubiertos contra los modelos o sus conjuntos de datos. Estos ataques no solo son cada vez más dañinos, sino que también aumentan en alcance, escala y sofisticación, y resultan cada vez más difíciles de detectar. A continuación, describimos tres tipos de ataques que plantean las amenazas más importantes para las empresas que implementan LLM y otros modelos de inteligencia artificial generativa (GenAI).

Jailbreaks/inyección de prompts

Técnicas de jailbreak o inyección de prompts intentan «engañar» a un LLM para que proporcione información considerada peligrosa, ilegal, inmoral o poco ética, o que de algún otro modo contravenga las normas sociales habituales. Aproximadamente dos horas después del lanzamiento de ChatGPT-4 en marzo de 2023, varios intentos de jailbreak lograron que el sistema proporcionara instrucciones para llevar a cabo un alarmante conjunto de actividades antisociales. 

Desde entonces, numerosos actores maliciosos han desarrollado prompts cuidadosamente redactados y muy detallados —que incluyen juegos de rol, texto predictivo, psicología inversa y otras técnicas— para conseguir que los LLM eludan los filtros de contenido internos y los controles que regulan sus respuestas. El peligro de que un ataque de jailbreak contra un sistema de IA generativa, como un LLM, tenga éxito radica en que vulnera las salvaguardas que impiden que el modelo ejecute órdenes maliciosas, como instrucciones para ignorar las medidas de protección o llevar a cabo acciones destructivas. Una vez que desaparece esa frontera entre el uso aceptable y el inaceptable, el modelo ya no dispone de ninguna salvaguarda que le impida seguir las nuevas instrucciones.

Envenenamiento de datos

Un ataque de envenenamiento puede tener como objetivo el modelo, los datos de entrenamiento del modelo o una fuente de datos no protegida de su organización. El objetivo de un ataque de envenenamiento es sesgar los resultados o las predicciones que genera el modelo; como consecuencia, su organización confía en esos resultados erróneos y toma decisiones equivocadas y potencialmente perjudiciales, difunde información defectuosa o incorrecta, o lleva a cabo otras acciones desacertadas basándose en los resultados del modelo.

• Envenenamiento de datos son ataques dirigidos al conjunto de datos de entrenamiento del modelo. El agente malicioso altera o manipula los datos, o añade datos maliciosos, incorrectos, sesgados o inadecuados de cualquier otro modo, lo que distorsiona los resultados del modelo. 
• Envenenamiento del modelo son ataques dirigidos contra el propio modelo. El actor malicioso modifica el modelo o sus parámetros para provocar resultados erróneos. 
• Puerta trasera requieren un enfoque en dos pasos. En primer lugar, el actor de amenazas manipula el conjunto de datos del modelo añadiendo datos maliciosos para crear una vulnerabilidad oculta que no afecta al modelo de ningún modo hasta que se activa. La activación de la vulnerabilidad constituye el segundo paso de este ataque y permite al hacker causar daños a su organización cuando lo considere oportuno.

IA adversaria

Los ataques adversarios se producen después de que los modelos se hayan implementado y estén en uso. Estos ataques emplean distintos métodos, pero todos son muy difíciles de detectar y extremadamente peligrosos.

• Inversión de modelos analiza los resultados de un modelo para descubrir información confidencial sobre el propio modelo o el conjunto de datos con el que se entrenó, lo que puede dar lugar a vulneraciones de la privacidad.
• Inferencia de pertenencia son ataques en los que el actor malicioso intenta deducir si determinados datos, como la información sobre una persona concreta, formaban parte del conjunto de datos de entrenamiento. Si tienen éxito, estos ataques suponen una importante vulneración de la privacidad.
• Robo de modelos consiste en analizar minuciosamente los resultados de un modelo entrenado para robar o copiar su propiedad intelectual con el objetivo de clonar el modelo original, normalmente con fines comerciales.
• Marcado de agua modifica los parámetros de un modelo entrenado para insertar un patrón oculto que puede utilizarse para «demostrar» quién es el propietario del modelo. Esto puede provocar importantes pérdidas económicas, así como una pérdida de ventaja competitiva.
• Inferencia de modelos analiza el resultado de un modelo para obtener información confidencial sobre los datos de entrenamiento o los parámetros del modelo, lo que puede dar lugar a vulneraciones de la privacidad.

Soluciones

Es necesario desarrollar continuamente estrategias de protección y tácticas de implementación innovadoras para mantenerse al día con las nuevas tecnologías de IA, como los LLM. La implementación proactiva de medidas de protección que aborden las amenazas conocidas y emergentes es el único enfoque razonable para crear un entorno seguro que permita implantar LLM a gran escala y en toda la empresa. 

Nuestra plataforma protege a su organización frente a los usuarios que intentan ignorar o eludir los controles del sistema mediante el análisis de patrones y categorías lingüísticas, como los juegos de rol, las conversaciones hipotéticas, la creación de mundos y la psicología inversa, para identificar instrucciones que pretendan infringir las normas de uso aceptable.

También analiza el contenido entrante y saliente para detectar elementos tóxicos, sesgados o inaceptables por cualquier otro motivo. Se avisa a los usuarios de que el prompt no se enviará a menos que se modifique su contenido, y un historial detallado de prompts permite auditar tanto dichos prompts como a los usuarios que los crean. Nuestra plataforma también permite a los administradores exigir la verificación humana de la información devuelta por el modelo para garantizar que cualquier contenido utilizado en la documentación de la organización sea preciso y veraz.

Conclusión

Comprender e implementar protocolos de seguridad de la IA se está convirtiendo rápidamente en un imperativo empresarial fundamental en un entorno de negocio cada vez más impulsado por la IA. Al integrar herramientas de seguridad de la IA en su infraestructura, su organización podrá adaptarse de forma dinámica y en tiempo real a las nuevas amenazas, garantizar una protección sólida de sus sistemas de IA, datos y operaciones, y ofrecer tranquilidad a los responsables de la toma de decisiones. En definitiva, la seguridad de la IA permite a su organización ir un paso por delante de los ciberdelincuentes y de sus competidores.

Sobre el autor

F5 Newsroom Staff

Más artículos de F5 Newsroom Staff