Me complace enormemente presentar mi nueva serie de pódcast, «El CISO global: de defensores para defensores». He sido CISO durante más de 20 años y ahora soy CISO de campo en F5. La experiencia es la mejor maestra, pero aprender de ella puede salir caro. Por eso lanzo esta serie de pódcast, para analizar cómo los CISO y los CIO pueden desenvolverse mejor ante el increíble ritmo de cambio tecnológico de nuestro mundo y estar preparados para los retos de seguridad de la información del futuro.
F5 presta servicio a más de 23.000 clientes empresariales en más de 170 países, entre ellos los mayores bancos, fabricantes de automóviles y proveedores de telecomunicaciones del mundo. El año pasado recorrí cerca de 300.000 millas para trabajar con algunas de las organizaciones más complejas del mundo, y esta serie de pódcast parte de esa perspectiva para analizar las tendencias actuales más importantes en materia de seguridad de la información, cumplimiento normativo y gestión de riesgos. Hablaré de lo que funciona y lo que no, y de cómo los CISO y los CIO pueden aprovechar el poder de la revolución de la IA para prosperar en un mundo que cambia rápidamente.
Estas son algunas de las conclusiones de mi primer episodio:
Presta atención a la ideología en los modelos nacionales de IA
En lo que respecta al liderazgo mundial en IA, Estados Unidos y China compiten por el dominio en todo el mundo y por ejercer influencia en el Sur Global. Sin embargo, ambos países están incorporando restricciones ideológicas a sus ecosistemas de IA. El Plan de Acción de IA de Estados Unidos tiene un enfoque geopolítico que orienta su modelo e insta al Instituto Nacional de Estándares y Tecnología (NIST) de Estados Unidos a eliminar del marco de gestión de riesgos del NIST cuestiones como el cambio climático, la diversidad, la equidad y la inclusión (DEI), o la desinformación. El ecosistema oficial de IA de China, que se comercializa como de código abierto (aunque en realidad es de pesos abiertos) y está fácilmente disponible para el Sur Global, está diseñado para mantenerse fiel a los principios socialistas.
Creo que los elementos ideológicos presentes en estos modelos de IA y en las pilas tecnológicas que promueven pueden dificultar la adopción de ambos. Por ejemplo, ¿querrán los actuarios del sector asegurador confiar en los modelos de IA estadounidenses para evaluar y prever riesgos patrimoniales y de responsabilidad civil si no incorporan datos sobre el cambio climático? ¿Qué valor aporta la adhesión a los principios socialistas si se utilizan los modelos de IA chinos para realizar análisis de los mercados financieros? Creo que muchas organizaciones internacionales preferirán evitar los modelos de IA basados en sesgos de pureza ideológica.
La UE podría ser la gran tapada que se beneficie de la rivalidad ideológica en materia de IA entre Estados Unidos y China. La UE no es necesariamente la mayor potencia innovadora del mundo en IA, pero las empresas tecnológicas europeas hacen un trabajo excelente y Francia cuenta con algunos de los mejores matemáticos del planeta. El enfoque de la UE respecto a la IA trata de evitar los sesgos ideológicos y se centra, en cambio, en la gestión y la aceptación de riesgos, así como en imponer fuertes sanciones a las empresas que utilicen la IA de formas consideradas irresponsables. Así que no descarten todavía a la UE.
Conclusión clave: Los líderes tecnológicos deben actuar con mucha cautela y reflexión a la hora de elegir los modelos de IA y las pilas tecnológicas que adoptan, ya que estas decisiones iniciales tendrán consecuencias a largo plazo y pueden generar elevados costes de salida. En cualquier caso, cabe esperar que siga impulsándose de forma generalizada la adopción de modelos abiertos.
Se espera un fuerte aumento del fraude
Sam Altman, CEO de OpenAI, habló recientemente en un escenario sobre el drástico aumento del fraude perpetrado mediante sistemas de IA. Esto también coincide con nuestra experiencia en F5. Llevamos tiempo afirmando que la mayoría de las pruebas de Turing automatizadas y los desafíos CAPTCHA han dejado de ser relevantes, y son especialmente ineficaces contra los bots avanzados. Sin embargo, creo que a los responsables de la defensa les ha pillado desprevenidos ver con qué facilidad un agente de ChatGPT puede eludir las restricciones de los CAPTCHA.
También estamos observando numerosos casos de fraude por voz, en los que los agentes de IA ya utilizan acentos locales muy convincentes y suenan como si vivieran al lado. Hemos registrado un aumento aproximado del 2.400 % en los fraudes perpetrados mediante IA que recurren al phishing por mensajes de voz y SMS, la ingeniería social, los ultrafalsos y los correos electrónicos de spam cada vez más convincentes que se aprovechan de la credulidad humana.
Prepárense, porque vamos a ver muchos más fraudes facilitados por la IA. Ahí es donde está el dinero y hacia ahí se dirigen los delincuentes.
Conclusión clave: La IA está potenciando el fraude, y las defensas tradicionales como los CAPTCHA han quedado obsoletas. Los CISO deben priorizar la formación de los empleados y las estrategias de seguridad adaptativas basadas en IA para contrarrestar unas estafas potenciadas por IA cada vez más convincentes a través de canales de voz, texto y redes sociales.
Añade «proteger la inferencia» a la descripción de tu puesto
Los CISO ya tienen muchas responsabilidades. Somos responsables de proteger y garantizar la seguridad de los datos, el correo electrónico, las aplicaciones, los perímetros, el edge, las redes y los dispositivos, y ahora también tendremos que asumir la seguridad de la inferencia.
Esto se debe a que la inferencia es la nueva superficie de ataque. Ahora está directamente vinculada a decisiones que afectan al negocio, las finanzas, el cumplimiento normativo y la reputación, y los adversarios pueden aprovechar los motores de inferencia mediante diversos ataques, como la inyección de instrucciones y la manipulación de modelos. Los CISO deben proteger no solo la infraestructura que rodea a la IA, sino también la propia toma de decisiones de la IA, ya que la inferencia es tanto un nuevo vector de ataque como una función empresarial crítica.
Un nuevo método de manipulación de la inferencia es un ataque de «cámara de eco». Se trata de una forma de inyección de instrucciones que consiste en elaborar una serie de instrucciones que sugieren gradualmente una respuesta no autorizada sin solicitar directamente que se genere contenido no autorizado. Es algo así como manipular psicológicamente al modelo de lenguaje de gran tamaño (LLM) mediante pequeñas sugerencias a lo largo de una serie de interacciones que llevan a los modelos a liberarse de sus restricciones o eludir sus controles.
Estos ataques de «cámara de eco» tienen una eficacia de entre el 80 % y el 90 %. Entonces, ¿es ahora responsabilidad del CISO proteger la inferencia? Si no es así, ¿quién más en la organización va a asumir esa responsabilidad?
Conclusión clave: La inferencia está surgiendo como una nueva superficie de ataque crítica, y los CISO deben ampliar sus competencias para proteger la propia toma de decisiones de la IA. En mi opinión, si tu cargo incluye «Chief» y «Security», acabará siendo tu problema, se reconozca hoy o no. Más vale ponerse manos a la obra.
¿Tiene China ventaja en IA?
Creo que, de hecho, puede que lleven ventaja en IA, aunque todo depende de lo que se mida. Paso mucho tiempo en Asia y he hablado con muchas personas que viven y trabajan allí. Me parece que China parte con ventaja a la hora de aplicar realmente la IA de formas útiles. Puede que China no tenga los modelos más grandes jamás desarrollados, pero los que tiene ya se están utilizando para resolver problemas de la cadena de suministro, redirigir envíos y desempeñar otras funciones prácticas en el mundo real.
Me parece bien tener el mejor modelo con 200.000 billones de parámetros, si eso es lo que se quiere desarrollar. Pero ahora mismo, en Estados Unidos y Europa, veo una brecha bastante considerable —por usar una analogía con las carreras de aceleración— entre generar toda esa potencia y conseguir transmitirla al asfalto.
El Plan de Acción de IA de Estados Unidos da máxima prioridad al desarrollo energético y a la construcción de fábricas de IA y centros de datos para IA. Los inversores están destinando enormes cantidades de dinero a este ámbito, pero no parece que estemos generando valor en el mundo real. Mencionar estudios recientes que han acaparado titulares sobre los pocos programas de IA que están aportando valor empresarial en esta etapa de adopción de la IA, lo que sirve como transición natural hacia la fase del Abismo de la Desilusión en la adopción de nuevas tecnologías.
Parte del problema es que el mero hecho de que Estados Unidos tenga los modelos de IA más grandes y potentes no significa que los estemos utilizando para generar resultados empresariales significativos; además, existen muy pocas barreras competitivas en el ámbito de la IA. Contar con el modelo más grande proporciona una ventaja competitiva temporal que no durará para siempre.
Conclusión clave: En términos generales, China podría llevar ventaja en IA, no por desarrollar los modelos más grandes, sino por aplicarlos rápidamente a problemas del mundo real, mientras que Estados Unidos y Europa corren el riesgo de quedarse atrás al centrarse más en la escala que en el impacto práctico. China también dispone de mucha más capacidad energética que Estados Unidos, y no es un problema que este país pueda resolver rápidamente. No queda más remedio que perforar, perforar y perforar, algo que todos sabemos que no es sostenible, pero esta es la «lógica» de las dinámicas de competencia global.
Tu fuente de referencia para anticiparte a las amenazas
Queremos que The Global CISO sea su fuente de referencia para anticiparse a las amenazas y tendencias que están dando forma a nuestro sector y a nuestro futuro. Por tanto, si hay algún tema que cree que debería tratar, envíeme un mensaje o contacte conmigo en LinkedIn.
Suscríbete ahora para no perderte ningún episodio de The Global CISO: For defenders by defenders en tu plataforma de pódcast favorita, y compártelos con tu equipo, tus compañeros y tus contactos.
Escucha mi primer episodio, «Cómo dominar las API, la seguridad de la IA y la PQC».
Además, no te pierdas mi segundo episodio, «Automatizar primero: el manual del CTO para las API, la observabilidad y la rendición de cuentas de los proveedores».
Sobre el autor
Artículos relacionados del blog
Cree servicios públicos seguros, resilientes y preparados para la IA con F5 y AWS
Descubre cómo las organizaciones del sector público pueden modernizar de forma segura sus aplicaciones y soluciones de IA, al tiempo que gestionan los sistemas heredados, el cumplimiento normativo y el riesgo operativo.
Protección de los sistemas de IA: por qué la seguridad debe avanzar al ritmo de la innovación
Desde acelerar avances revolucionarios en medicina y educación hasta transformar la vida cotidiana, la IA está cambiando nuestra forma de vivir y trabajar. Pero también ofrece grandes oportunidades a los ciberdelincuentes.
Avanzar hacia la optimización digital tras la transformación
Descubre estrategias de optimización digital para garantizar políticas de seguridad coherentes, impulsar la madurez de la transformación digital y superar los retos de la transformación.
Proyecto de código abierto destacado: mayor observabilidad con F5 Cloud Logger iApp
En el punto de mira del código abierto: cómo aumentar la observabilidad. Lee el blog de F5 para descubrir cómo exportar fácilmente la telemetría de BIG-IP a plataformas modernas de análisis en la nube.
El estado de la entrega de aplicaciones en 2018: la transformación digital impulsa la automatización y la multinube pese a las preocupaciones de seguridad
Descubre las principales conclusiones del cuarto informe anual de F5 sobre el estado de la entrega de aplicaciones.
Estado de la entrega de aplicaciones en 2017: automatización, API y DevOps
Descubre el informe sobre el estado de la entrega de aplicaciones de 2017. Lee el blog retrospectivo de F5 sobre los inicios del auge de las redes declarativas y los flujos de DevOps.