Bienvenido a la serie de podcasts The Global CISO

Cuando se trata de liderazgo global en IA, Estados Unidos y China compiten por el dominio en todo el mundo y la influencia en el sur global. Sin embargo, ambas naciones están incorporando restricciones ideológicas a sus stacks de IA. Los Estados Unidos. El Plan de Acción de IA tiene un tema geopolítico que impulsa su modelo y que impulsa a Estados Unidos. El Instituto Nacional de Estándares y Tecnología (NIST) eliminará temas como el cambio climático, la diversidad, la inclusión y la desinformación del marco de gestión de riesgos del NIST. La pila oficial de inteligencia artificial china, que se comercializa como de código abierto (en realidad, de peso abierto) y está fácilmente disponible para el sur global, está diseñada para mantener la fidelidad a los principios socialistas.

Creo que los elementos ideológicos dentro de estos modelos de IA y las pilas que promueven pueden dificultar su adopción. Por ejemplo, ¿querrán los actuarios del sector asegurador fiarse de los modelos de IA de EE. UU. para evaluar y prever riesgos de daños a la propiedad si no incorporan datos sobre el cambio climático? ¿Qué valor aportan los principios socialistas si usas modelos de IA chinos para analizar el mercado financiero? Pienso que muchas organizaciones globales evitarán los modelos de IA que se basan en sesgos ideológicos. 

Debes ver a la UE como una posible sorpresa que puede beneficiarse de la rivalidad ideológica en IA entre EE. UU. y China. La UE no es necesariamente la principal innovadora mundial en IA, pero las empresas tecnológicas europeas realizan un trabajo excelente, y Francia cuenta con algunos de los mejores matemáticos del mundo. El enfoque europeo hacia la IA evita sesgos ideológicos y se centra en la gestión y la aceptación del riesgo, además de imponer fuertes sanciones a las empresas que despliegan la IA de manera irresponsable. Por eso, no descartes a la UE todavía.

Punto clave: Debes analizar con cuidado y criterio qué modelos de IA y pilas tecnológicas adoptas, ya que esas primeras decisiones tendrán consecuencias duraderas y podrían implicar costes elevados de salida. Esperamos que la adopción de modelos abiertos siga avanzando de forma continua en todos los ámbitos.  

Sam Altman, director general de OpenAI, habló recientemente en público sobre un aumento significativo del fraude generado por sistemas de IA. Eso se alinea con nuestra experiencia en F5 también. Hemos señalado que la mayoría de las pruebas automáticas de Turing y los CAPTCHA llevan tiempo sin ser efectivas, sobre todo contra bots avanzados. Pero creo que los defensores se han sorprendido al comprobar la facilidad con que un agente de ChatGPT puede saltarse las restricciones CAPTCHA. 

Detectamos un aumento significativo del fraude mediante voz, con agentes de IA que imitan acentos locales de forma tan realista que parecen vecinos. El fraude generado por IA a través de mensajes de voz, phishing por SMS, ingeniería social, deep fakes y correos electrónicos spam cada vez más sofisticados ha crecido cerca de un 2400%, explotando la credulidad humana. 

Prepárate, porque vamos a enfrentar un aumento significativo en el fraude potenciado por IA. Ahí es donde está el dinero y hacia donde se dirigen los criminales. 

Mensaje clave: La IA está impulsando el fraude, y las defensas tradicionales como los CAPTCHA han quedado obsoletas. Los CISO deben centrarse en formar a los empleados y en adoptar estrategias de seguridad adaptativas impulsadas por IA para enfrentar estafas cada vez más sofisticadas que usan IA en voz, texto y redes sociales.

Los CISO ya tienen muchas responsabilidades. Tú eres responsable de proteger y asegurar datos, correos electrónicos, aplicaciones, perímetros, el edge, las redes y los dispositivos, y ahora también tomarás el control de la seguridad de la inferencia. 

La inferencia es la nueva superficie de ataque. La inferencia afecta directamente a decisiones que impactan en el negocio, las finanzas, el cumplimiento y la reputación, y los atacantes pueden aprovechar los motores de inferencia mediante varios métodos, como la inyección de indicaciones y la manipulación de modelos. Los CISOs deben proteger no solo la infraestructura que soporta la IA, sino también la propia toma de decisiones de la IA, ya que la inferencia representa un nuevo vector de ataque y una función esencial para el negocio.

Un nuevo método de manipulación de inferencias es un ataque de “cámara de eco”. Se trata de una forma de inyección de indicaciones que consiste en crear una serie de indicaciones que sugieren poco a poco una respuesta no autorizada sin solicitar directamente una generación no autorizada. Es como manipular al modelo de lenguaje grande (LLM) con pequeñas sugerencias distribuidas a lo largo de varios turnos, que llevan a los modelos a desbloquearse o a saltarse sus controles. 

Estos ataques de cámara de eco son entre un 80% y un 90% efectivos. Entonces, ¿ahora recae en el CISO proteger la inferencia? Si no es así, ¿quién en la organización se encargará de esa responsabilidad?

Conclusión clave: La inferencia se está convirtiendo en una nueva superficie de ataque crítica, y los CISO deben ampliar su responsabilidad para proteger la toma de decisiones basada en IA. Si en tu título aparecen “Jefe” y “Seguridad”, esto será parte de tu responsabilidad, esté reconocido hoy o no. Lo mejor es ponerse manos a la obra.  

Creo que en realidad pueden tener la ventaja en IA, aunque todo depende de qué midas. Paso mucho tiempo en Asia y he hablado con muchas personas que viven y trabajan allí. Me parece que China cuenta con una ventaja inicial al aplicar la IA de manera práctica y efectiva. Quizá China no tenga los modelos más grandes jamás desarrollados, pero los que posee realmente se usan para resolver problemas en la cadena de suministro, redirigir envíos y cumplir otras funciones útiles en la vida real.

Está bien crear el mayor modelo de 200 cuatrillones de parámetros si eso es lo que quieres desarrollar. Pero ahora mismo, tanto en EE. UU. como en Europa, veo una brecha considerable—por usar una analogía de carreras de aceleración—entre generar toda esa potencia y hacerla efectiva.

Estados Unidos. El Plan de Acción de IA prioriza firmemente el desarrollo energético, la construcción de fábricas de IA y centros de datos de IA. Los inversores en este sector están invirtiendo grandes sumas de dinero, pero no estamos generando valor tangible aún.  Consulta estudios recientes que llaman la atención sobre cómo pocos programas de IA aportan valor empresarial en esta etapa de adopción, lo que anticipa la fase del Valle de la Desilusión en la integración de nuevas tecnologías.  

Parte del problema es que, aunque Estados Unidos cuente con los modelos de IA más grandes y potentes, no los estamos usando para generar resultados empresariales reales, y hay muy pocas barreras defensivas en IA. Tener el modelo más grande ofrece una ventaja competitiva temporal que no durará para siempre.

Conclusión clave: China puede tener ventaja en IA no por crear los modelos más grandes, sino por aplicarlos rápido a problemas reales, mientras que EE. UU. y Europa corren el riesgo de quedarse atrás al centrarse más en la escala que en el impacto concreto.  China también cuenta con mucha más capacidad eléctrica que EE. UU., y no es un desafío que este último pueda resolver rápidamente. La opción es perforar sin pausa, aunque todos sabemos que no es sostenible; así funciona la lógica de la competencia global. 

Queremos que The Global CISO sea tu fuente de referencia para adelantarte a las amenazas y tendencias que configuran nuestra industria y nuestro futuro. Si hay temas que consideras que debo abordar, envíame una nota o conéctate conmigo en LinkedIn. 

Suscríbete ahora y recibe todos los episodios de The Global CISO: Creado por defensores para defensores en tu plataforma de podcast favorita — comparte con tu equipo, colegas y red

Escucha mi primer episodio, “Dominar las API, la seguridad en IA y el PQC.” 

Además, no te pierdas mi segundo episodio, “Automatiza primero: El manual del CTO para APIs, observabilidad y responsabilidad de proveedores.”