Proteger la IA: la amenaza latente que debe contenerse

DeepSeek; ChatGPT Deep Research; el plan estadounidense Stargate de 500.000 millones de dólares: puede resultar difícil seguir el ritmo del increíble impulso que está cobrando la IA. La IA generativa de nueva generación y la IA agéntica —antes consideradas meros motores para las recomendaciones de Spotify y los filtros de Snapchat— están haciendo posibles casos de uso increíbles, desde la investigación rápida hasta la aceleración de los diagnósticos y el descubrimiento de fármacos.

Estas tendencias se acelerarán sin duda a medida que se consolide la era de la IA agéntica, en la que los agentes seguirán instrucciones humanas para realizar tareas de forma autónoma. De hecho, la reciente encuesta AI Radar de Boston Consulting Group, realizada a 1.803 altos ejecutivos, reveló que el 31 % prevé destinar más de 25 millones de dólares a la IA en 2025.

Hagamos las cuentas: son casi 600 empresas que afirman que gastarán al menos 25 millones de dólares cada una, lo que suma un total de 15.000 millones de dólares en IA solo este año. En todo caso, parece una estimación conservadora.

Tres cuartas partes de los directivos encuestados por BCG —pertenecientes a 12 sectores de 19 mercados— situaron la IA entre sus tres principales prioridades estratégicas. Por su parte, el 72 % de los 1.363 participantes en la Encuesta global de McKinsey sobre IA de 2024 afirmó que ya había adoptado la IA en al menos una función empresarial, mientras que el 50 % la había adoptado en dos o más funciones empresariales.

La amenaza latente

Sin embargo, en este mundo dinámico, cada nuevo caso de uso abre una nueva superficie de ataque para los actores maliciosos; lo que ayer era seguro puede no serlo mañana. Aunque las amenazas ya son evidentes, las consideraciones de seguridad no han avanzado al mismo ritmo que la demanda empresarial de aplicaciones de IA.

Hablamos con muchos CISO y algunos se muestran despreocupados, casi hasta el punto de la apatía, respecto al perfil de riesgo al que están expuestos, incluso mientras integran la IA en sus organizaciones. Como era de esperar, esa actitud cambia cuando se trata de sectores altamente regulados.

Todos conocemos los fallos ampliamente difundidos de los primeros sistemas de IA: el chatbot de una empresa de reparto que soltaba palabrotas y criticaba a la empresa; los agregadores de noticias que se inventaban historias; las alucinaciones sobre precedentes jurídicos que llegaron a los tribunales. Incluso Amazon se vio obligada a corregir su asistente de compras con IA, Rufus, después de que este permitiera acceder libremente al LLM subyacente. Además del daño a su imagen de marca, Amazon tuvo que asumir el coste de procesar peticiones malintencionadas.

En el extremo más grave, Character.AI se enfrenta a una demanda civil después de que un joven de 14 años se quitara la vida tras mantener largas sesiones con uno de sus chatbots de rol. Al parecer, el chatbot preguntó al adolescente si tenía un plan para suicidarse y pareció animarlo a hacerlo.

En general, esos incidentes se consideran anomalías desafortunadas. Sin embargo, deberían verse como líneas de falla, advertencias de lo que puede salir mal con la IA, incluso sin una intervención malintencionada. Cuando hay mala intención, el potencial de causar daños se multiplica.

Detección de temblores

En la comunidad de la seguridad, ya observamos indicios de amenazas activas, similares a los temblores que preceden a una erupción. El último informe de OpenAI sobre amenazas describe cómo SweetSpecter, un presunto adversario con sede en China, intentó utilizar ChatGPT para respaldar una operación cibernética ofensiva; entre sus actividades se incluían consultas al modelo sobre vulnerabilidades en diversas aplicaciones y la búsqueda de nombres «adecuados» para archivos adjuntos de correo electrónico con el fin de evitar que fueran bloqueados.

Al mismo tiempo, el ciberdelincuente envió correos electrónicos de phishing con archivos adjuntos infectados con malware a las cuentas corporativas y personales de empleados de OpenAI y de gobiernos de todo el mundo. Puede parecer un problema que solo afecta a OpenAI, pero debería estar en el radar de cualquiera que desarrolle aplicaciones sobre un modelo fundacional, así como de las innumerables empresas que utilizan aplicaciones basadas en modelos.

El último informe Threat Insights de HP Wolf Security, por su parte, detalla el primer caso detectado de una campaña de malware que utiliza scripts que «muy probablemente» se escribieron con ayuda de la IA generativa. La estructura de los scripts, los comentarios y la elección de los nombres de las funciones y las variables apuntan a que el ciberdelincuente utilizó IA generativa para crear el malware.

Como señala el equipo de HP Wolf: «Esta actividad demuestra que la IA generativa está acelerando los ataques y facilitando que los ciberdelincuentes infecten los dispositivos». La misma capacidad de la IA que puede utilizarse para hacer el bien también puede —y va a— ser utilizada de forma maliciosa por los actores de amenazas para causar daños devastadores.

Una superficie de ataque en expansión

Está claro que la IA está llamada a ser un sector dominante en el futuro. La financiación de capital riesgo para empresas emergentes de IA alcanzó los 131.500 millones de dólares el año pasado, lo que supone un aumento del 52 % con respecto a 2023. En el cuarto trimestre de 2024, más de la mitad de la financiación mundial de capital riesgo por valor se destinó a empresas de IA.

Estas nuevas empresas miran hacia el futuro, mejoran continuamente y lanzan nuevos productos. Por otro lado, las organizaciones de todos los sectores están sometidas a presión para aprovechar el potencial de la IA. En un mundo donde nada es estático, estándar ni predecible, la superficie de ataque se amplía constantemente, lo que abre brechas en la postura de seguridad que deben abordarse.

Incluso las organizaciones que no están adoptando activamente la IA deben ser conscientes de esta amenaza latente. Como hemos visto, los sistemas de IA pueden utilizarse para potenciar amenazas tradicionales como el phishing, los ataques de fuerza bruta, el malware dinámico y los ataques de denegación de servicio.

El panorama emergente de la seguridad de la IA incorpora amenazas estáticas y agénticas, así como ataques operativos, centrados principalmente en la IA durante el tiempo de ejecución. La inyección directa e indirecta de instrucciones puede manipular las aplicaciones de IA, lo que plantea problemas de seguridad y costes.

Ya sabemos que todos los modelos de primer nivel disponibles actualmente pueden «vulnerarse» en cierta medida. A medida que llegan nuevas versiones y aumenta la adopción de la IA, mantenerse alerta es esencial, no opcional.

Cómo evitar una erupción

Dado que los sistemas de IA son dinámicos por naturaleza, pueden surgir —y surgirán— nuevas vulnerabilidades de forma inesperada. Sin protocolos de seguridad específicos y multicapa, incluso los sistemas más robustos pueden flaquear y fallar. Para proteger su inversión en IA, las organizaciones deben combinar capacidades de seguridad defensiva con medidas ofensivas que permitan identificar vulnerabilidades de forma proactiva.

En lugar de depender de los bomberos cuando ya es demasiado tarde, las organizaciones necesitan herramientas que les permitan detectar un posible incendio. Las pruebas de penetración y los ejercicios de equipo rojo en modelos y aplicaciones de IA les permitirán establecer perímetros alrededor de sus sistemas para garantizar que esa amenaza latente nunca llegue a activarse.

El mensaje es claro: aunque la IA no figure ahora mismo entre sus prioridades, los actores maliciosos ya están avanzando y sus problemas de seguridad actuales se ven afectados. Dado que el futuro de la IA depende de nuestra capacidad para protegerla, este es un problema que nos concierne a todos, no solo a unos pocos.