Protegendo a IA: a ameaça adormecida que precisa ser contida

DeepSeek; ChatGPT Deep Research; o plano norte-americano de US$ 500 bilhões Stargate: pode ser difícil acompanhar o incrível impulso que a IA vem ganhando. Antes vista apenas como um mecanismo para recomendações do Spotify e filtros do Snapchat, a IA generativa e a IA agêntica de nova geração estão viabilizando casos de uso incríveis, desde pesquisas rápidas até diagnósticos acelerados e a descoberta de medicamentos.

Essas tendências certamente se acelerarão à medida que a era da IA agêntica se consolidar, com agentes seguindo instruções humanas para executar tarefas de forma autônoma. De fato, a recente pesquisa AI Radar do Boston Consulting Group, realizada com 1.803 executivos de alto escalão, constatou que 31% planejam destinar mais de US$ 25 milhões à IA em 2025.

Vamos fazer as contas: são quase 600 empresas dizendo que gastarão pelo menos US$ 25 milhões cada uma, totalizando US$ 15 bilhões em IA somente neste ano. Na verdade, essa estimativa parece até conservadora.

Três quartos dos executivos entrevistados pelo BCG — em 12 setores de 19 mercados — classificaram a IA como uma das três principais prioridades estratégicas. Enquanto isso, 72% dos 1.363 participantes da edição de 2024 da Pesquisa Global da McKinsey sobre IA afirmaram que já haviam adotado a IA em pelo menos uma função de negócios; 50% haviam adotado a IA em duas ou mais funções de negócios.

A Ameaça Adormecida

Neste mundo dinâmico, porém, cada novo caso de uso abre uma nova superfície de ataque para agentes mal-intencionados; o que era seguro ontem pode não ser seguro amanhã. Embora as ameaças já sejam evidentes, as considerações de segurança não têm acompanhado o ritmo da demanda das empresas por aplicações de IA.

Conversamos com muitos CISOs, e alguns demonstram indiferença, quase chegando à apatia, em relação ao perfil de risco em que se encontram, mesmo enquanto incorporam a IA às suas organizações. Como era de se esperar, essa postura muda quando se trata de setores altamente regulamentados.

Todos nós conhecemos as falhas amplamente divulgadas dos primeiros sistemas de IA: o chatbot da empresa de entregas que dizia palavrões e criticava a própria empresa; os agregadores de notícias que inventavam histórias; as alucinações de precedentes jurídicos que chegaram aos tribunais. Até mesmo a Amazon foi obrigada a corrigir seu assistente de compras com IA, Rufus, depois que ele permitiu acesso irrestrito ao LLM subjacente. Além dos danos à marca, a Amazon teve de arcar com o custo do processamento de prompts maliciosos.

No extremo mais grave da situação, a Character.AI está enfrentando um processo civil depois que um adolescente de 14 anos tirou a própria vida após longas sessões com um de seus chatbots de interpretação de personagens. O chatbot teria perguntado ao adolescente se ele tinha um plano para se matar e aparentemente o incentivou a fazê-lo.

De modo geral, esses incidentes são tratados como anomalias lamentáveis. Pelo contrário, deveriam ser vistos como sinais de alerta, advertências sobre o que pode dar errado com a IA, mesmo sem intervenção mal-intencionada. Quando há má-fé, o potencial de dano se multiplica.

Detecção de tremores

Na comunidade de segurança, já vemos indícios de ameaças ativas, semelhantes aos tremores que antecedem uma erupção. O relatório mais recente da OpenAI sobre ameaças descreve como um suposto agente mal-intencionado baseado na China, o SweetSpecter, tentou usar o ChatGPT para apoiar uma operação cibernética ofensiva; suas atividades incluíram perguntar ao modelo sobre vulnerabilidades em diversos aplicativos e buscar nomes “adequados” para anexos de e-mail a fim de evitar que fossem bloqueados.

Ao mesmo tempo, o agente mal-intencionado enviou e-mails de phishing com anexos infectados por malware para contas corporativas e pessoais de funcionários da OpenAI e de governos do mundo todo. Isso pode parecer um problema da OpenAI, mas deve estar no radar de todos que desenvolvem aplicações com base em um modelo fundacional — e das inúmeras empresas que usam aplicações baseadas em modelos.

O mais recente Relatório de Insights sobre Ameaças da HP Wolf Security, por sua vez, detalha o primeiro caso detectado de uma campanha de malware que utiliza scripts com “alta probabilidade” de terem sido escritos com a ajuda de IA generativa. Indícios na estrutura dos scripts, nos comentários e na escolha dos nomes de funções e variáveis sugerem que o agente da ameaça usou IA generativa para criar o malware.

Como observa a equipe do HP Wolf: “Essa atividade mostra que a IA generativa está acelerando os ataques e facilitando a infecção de endpoints por cibercriminosos.” A mesma capacidade da IA que pode ser usada para o bem também pode — e será — explorada por agentes mal-intencionados para causar danos devastadores.

Uma superfície de ataque em expansão

Está claro que a IA deverá ser um setor dominante daqui para frente. Globalmente, o financiamento de capital de risco para startups de IA atingiu US$ 131,5 bilhões no ano passado, um aumento de 52% em relação a 2023. No quarto trimestre de 2024, mais da metade do financiamento global de capital de risco, em termos de valor, foi destinada a empresas de IA.

Essas novas empresas estão voltadas para o futuro, aprimorando continuamente suas soluções e lançando novos produtos. Por outro lado, organizações de todos os setores estão sob pressão para aproveitar o potencial da IA. Em um mundo onde nada é estático, padronizado ou previsível, a superfície de ataque está em constante expansão, abrindo lacunas na postura de segurança que precisam ser corrigidas.

Mesmo as organizações que não estão adotando ativamente a IA precisam estar cientes da ameaça latente. Como vimos, os sistemas de IA podem ser usados para potencializar ameaças tradicionais, como phishing, ataques de força bruta, malware dinâmico e ataques de negação de serviço.

O cenário emergente de segurança de IA inclui ameaças estáticas e agênticas, bem como ataques operacionais, predominantemente voltados à IA em tempo de execução. Injeções diretas e indiretas de prompts podem manipular aplicações de IA, gerando preocupações com segurança e custos.

Já sabemos que todos os modelos de classe mundial disponíveis atualmente podem ser, até certo ponto, “quebrados”. À medida que novas versões são lançadas e a adoção da IA aumenta, a vigilância é essencial, não opcional.

Evitando uma erupção

Como os sistemas de IA são dinâmicos por natureza, novas vulnerabilidades podem — e vão — surgir inesperadamente. Sem protocolos de segurança dedicados e em várias camadas, até mesmo os sistemas mais robustos podem apresentar problemas e falhar. Para proteger seus investimentos em IA, as organizações devem combinar recursos de segurança defensiva com medidas ofensivas para identificar vulnerabilidades de forma proativa.

Em vez de depender do Corpo de Bombeiros depois que o incidente já ocorreu, as organizações precisam de ferramentas para detectar um possível incêndio. Os testes de intrusão e red teaming de modelos e aplicações de IA permitirão estabelecer perímetros em torno de seus sistemas, garantindo que essa ameaça latente nunca se torne ativa.

A mensagem é clara: mesmo que a IA não esteja nos seus planos neste momento, os agentes de ameaças já estão avançando, e isso afeta suas atuais preocupações com segurança. Como o futuro da IA depende da nossa capacidade de protegê-la, essa é uma questão que diz respeito a todos, não apenas a alguns.