Bem-vindo à série de podcasts The Global CISO

Quando o assunto é liderança global em IA, os EUA e a China competem pelo domínio mundial e influência no sul global. No entanto, ambos os países incorporam restrições ideológicas em suas pilhas de IA. O Plano de Ação em IA dos EUA segue uma abordagem geopolítica que pressiona o Instituto Nacional de Padrões e Tecnologia (NIST dos EUA) a excluir temas como mudanças climáticas, diversidade, equidade e inclusão (DEI) e desinformação da estrutura de gerenciamento de risco do NIST. A pilha oficial de IA da China, apresentada como código aberto (na verdade aberto em peso) e disponível para o sul global, foi criada para garantir a fidelidade aos princípios socialistas.

Acredito que os elementos ideológicos presentes nesses modelos de IA e nas pilhas que eles promovem podem dificultar a adoção de qualquer um deles. Por exemplo, os atuários do setor de seguros vão querer confiar em modelos de IA dos EUA para avaliação e previsão de sinistros se eles não considerarem dados sobre mudanças climáticas? Qual é o valor de seguir princípios socialistas ao usar modelos de IA chineses para analisar o mercado financeiro? Acredito que muitas organizações globais vão preferir evitar modelos de IA baseados em viés ideológico. 

Considere a UE como um possível candidato inesperado a se beneficiar da rivalidade ideológica em IA entre os EUA e a China. A UE pode não ser a maior inovadora em IA no mundo, mas as empresas de tecnologia europeias entregam trabalhos excelentes, e a França conta com alguns dos melhores matemáticos do planeta. A abordagem da UE para IA evita viés ideológico, focando em gerenciamento de riscos, aceitação de riscos e punições rigorosas para empresas que usam IA de forma irresponsável. Por isso, não subestime a UE ainda.

Ponto principal: Líderes de tecnologia precisam agir com muito cuidado e reflexão ao escolher quais modelos de IA e conjuntos tecnológicos adotar, pois essas decisões iniciais terão impactos duradouros e podem gerar altos custos para mudanças futuras. Ainda assim, espere uma pressão contínua para a adoção de modelos abertos em todos os níveis.  

Sam Altman, CEO da OpenAI, falou recentemente sobre o aumento expressivo das fraudes realizadas por sistemas de IA. Essa observação coincide com nossa experiência na F5. Já declaramos que a maior parte dos testes automatizados de Turing e quizzes CAPTCHA está obsoleta há muito tempo, sendo especialmente ineficaz contra bots avançados. Mas acredito que quem defende essas barreiras foi surpreendido ao perceber o quão facilmente um agente do ChatGPT consegue contornar as restrições do CAPTCHA. 

Também identificamos muita fraude por voz, com agentes de IA que agora imitam sotaques locais de forma tão convincente que parecem morar na vizinhança. Registramos um aumento de cerca de 2.400% nas fraudes realizadas por IA, utilizando correio de voz, phishing por SMS, engenharia social, deep fakes e e-mails de spam cada vez mais persuasivos que exploram a credulidade humana. 

Prepare-se: você verá um aumento significativo nas fraudes impulsionadas por IA. Foi para onde o dinheiro foi, e é para onde os criminosos estão indo. 

Conclusão principal: A IA está impulsionando fraudes, tornando defesas tradicionais como CAPTCHAs ineficazes. Você, como CISO, deve focar no treinamento da equipe e em estratégias de segurança adaptativas baseadas em IA para enfrentar golpes cada vez mais sofisticados por voz, texto e redes sociais.

Os CISOs já têm muitas responsabilidades. Nós protegemos e garantimos a segurança dos dados, e-mails, aplicações, perímetros, bordas, redes e dispositivos, e agora precisamos assumir também a segurança de inferência. 

A inferência representa a nova superfície de ataque. Hoje, a inferência está diretamente ligada a decisões que impactam negócios, finanças, conformidade e reputação, e os adversários podem explorar motores de inferência por meio de diferentes ataques, como injeção de prompt e manipulação de modelos. Os CISOs precisam proteger não apenas a infraestrutura que suporta a IA, mas também o processo de tomada de decisão da própria IA, já que a inferência é um novo vetor de ataque e uma função essencial para os negócios.

Um novo método de manipulação de inferência é um ataque de “câmara de eco”. Esse tipo de injeção de prompts consiste em criar uma série que sugere gradativamente uma resposta não autorizada, sem pedir diretamente uma geração indevida. Funciona como se manipulássemos o modelo de linguagem avançado (LLM) com pequenas sugestões ao longo de vários prompts, fazendo o modelo se libertar ou ignorar seus próprios controles. 

Esses ataques de câmara de eco têm eficácia entre 80% e 90%. Então, proteger a inferência é responsabilidade do CISO agora? Caso não seja, quem na organização vai assumir essa responsabilidade?

Ponto principal: A inferência está se tornando uma nova e crítica superfície de ataque, e você, como CISO, precisa ampliar seu papel para proteger a tomada de decisão da IA. Na minha opinião, se seu cargo inclui “Chefe” e “Segurança”, isso vai virar sua responsabilidade, reconhecido hoje ou não. Então, é melhor começar agora.  

Acho que eles podem realmente ter uma vantagem em IA, mas tudo depende do que você avalia. Passo bastante tempo na Ásia e conversei com muitas pessoas que moram e trabalham lá. Parece que a China tem uma vantagem inicial ao usar a IA de formas práticas e relevantes. Talvez a China não possua os maiores modelos já criados, mas os que têm estão em operação, resolvendo problemas na cadeia de suprimentos, redirecionando cargas e outras funções importantes no mundo real.

Acho válido criar o maior modelo de 200 quatrilhões de parâmetros, se é esse seu objetivo. Mas hoje, nos EUA e na Europa, noto uma distância considerável — usando uma analogia de corrida de arrancada — entre gerar todo esse poder e aplicá-lo efetivamente.

Os EUA Prioriza de forma intensa o Plano de Ação de IA no desenvolvimento de energia, na construção de fábricas de IA e centros de dados para IA. Investidores desse setor colocam grandes somas de dinheiro, mas não entregamos valor real na prática.  Vários estudos recentes, que tiveram grande repercussão, mostram que poucos programas de IA geram valor empresarial neste estágio de adoção do setor, sinalizando uma transição natural para a fase de Vale da Desilusão ao incorporar novas tecnologias.  

Parte do problema é que termos os maiores e mais poderosos modelos de IA nos EUA não significa que os estamos usando para gerar resultados de negócio relevantes, e existem poucas barreiras duradouras em IA. Ter o maior modelo nos dá uma vantagem competitiva temporária que não vai durar para sempre.

Conclusão principal: A China pode ter uma vantagem na IA de forma ampla, não por criar os maiores modelos, mas por aplicá-los rapidamente a problemas reais — enquanto os EUA e a Europa correm o risco de ficar para trás ao focar mais na escala do que no impacto prático.  A China também dispõe de muito mais capacidade energética que os EUA, e essa não é uma questão fácil para os americanos resolverem rapidamente. Não resta alternativa senão continuar perfurando intensamente, o que sabemos ser insustentável, mas essa é a “lógica” na corrida global. 

Queremos que O CISO Global seja sua principal fonte para se manter adiante das ameaças e tendências que definem nosso setor e nosso futuro. Se houver assuntos que você acha que devo abordar, envie uma mensagem ou conecte-se comigo no LinkedIn. 

Assine agora para não perder nenhum episódio do The Global CISO: Produzido por defensores, para defensores, disponível na sua plataforma de podcast preferida — compartilhe com sua equipe, colegas e rede.

Ouça meu primeiro episódio, “Dominando APIs, segurança em IA e PQC.” 

Também, não deixe de ouvir meu segundo episódio, “Automatize primeiro: O guia do CTO para APIs, observabilidade e prestação de contas dos fornecedores.”