Explorando um ataque na era da IA

Para os CISOs que já enfrentam os desafios da segurança da informação tradicional, a IA representa uma dor de cabeça totalmente nova. Agora, onde quer que você introduza a IA ou torne tecnologias existentes acessíveis por meio dela — seja em uma fábrica, laboratório ou ambiente de escritório — surge uma superfície de ataque inédita, com zero dias de existência.

Já identificamos vulnerabilidades em todos os principais modelos de IA, incluindo ChatGPT, Gemini, Llama e DeepSeek-R1. À medida que as organizações avançam na integração de agentes de IA a seus sistemas mais amplos, os agentes de ameaças certamente acompanham esse movimento, explorando a IA como um possível ponto de entrada. Se forem bem-sucedidos, o impacto de um ataque pode crescer exponencialmente.

Entender como os invasores operam é fundamental para estabelecer uma postura de segurança robusta na era da IA. Analisar as etapas de um ataque ajuda a identificar vulnerabilidades e estabelece as bases para fortalecer as defesas de forma proativa, evitando possíveis danos.

As antigas “regras” ainda se aplicam

Um invasor organizado terá um objetivo claro, ou seja, aquilo que pretende alcançar com o ataque. Em seguida, seu foco passa para o domínio; se o objetivo for prejudicar um Estado-nação, por exemplo, os domínios podem incluir o setor de saúde, o sistema bancário ou o controle de tráfego aéreo.

A escolha do setor é importante para os agentes de ameaças, pois cada setor tem regras, regulamentações e defesas de segurança diferentes. O setor de serviços financeiros é um dos mais protegidos do mundo, enquanto o setor de saúde historicamente apresenta deficiências em segurança da informação. No entanto, mesmo em sistemas bem protegidos, a IA está abrindo novas vias de acesso para invasores.

Após a seleção do domínio, vem a seleção de um alvo específico. Se o objetivo for cometer fraudes contra seguradoras, há muitos alvos possíveis, com base em atributos como porte, localização e padrões de segurança. Empresas que alardeiam a adoção da IA sem controles adequados de segurança de IA podem acabar se tornando alvos; a vantagem de ser pioneiro também tem suas desvantagens.

Estudando o alvo

Depois que o alvo é identificado, o agente da ameaça passa para o reconhecimento: quais são os ativos acessíveis que podem ser atacados? A palavra-chave é “acessíveis”. Ativos acessíveis geralmente são aqueles com os quais as pessoas interagem, como sites, aplicativos móveis, caixas eletrônicos e servidores voltados ao público.

No entanto, os agentes de ameaças vão além do óbvio. Uma organização pode ter muitos pontos de rede que não são usados com frequência; se um deles for acidentalmente deixado ativo, poderá ser explorado para acessar sistemas críticos. IA agêntica agora deve ser levada em consideração: à medida que a IA se conecta cada vez mais a entidades virtuais e físicas, ativos que antes estavam fora de alcance agora estão acessíveis?

Para um invasor, a sondagem de vulnerabilidades é a maneira mais simples e eficiente de encontrar uma forma de acessar seus sistemas. Há muitas maneiras de fazer isso, e a IA abriu novos caminhos, inclusive na camada de inferência, em que um modelo de IA é aplicado a um caso de uso cotidiano.

Expondo a anatomia da IA

É aqui que as coisas ficam mais técnicas. Para investigar uma aplicação de IA, em vez de usar a interface de chat na web, os invasores usam a opção “Exibir código-fonte” no site em questão. Ao clicar na aba “Rede”, eles conseguem ver o endpoint para o qual uma conversa é enviada quando é digitada em uma aplicação de IA.

O invasor pode isolar esse endpoint por meio do terminal de comandos, em vez de acessá-lo pelo site, e obter a resposta bruta. Isso permite que ele procure itens que não são exibidos pela rota do site, como metadados adicionais que forneçam pistas sobre como avançar com o ataque.

Neste ponto, um hacker está avançando. Se inicialmente identificou seis ativos e dois deles apresentaram metadados úteis, agora ele tem seus primeiros possíveis vetores de acesso. Os ativos menos vulneráveis podem ser deixados de lado por enquanto, embora o invasor possa voltar a analisá-los mais a fundo caso suas primeiras opções não tenham sucesso.

Um Arsenal de Opções

Um agente de ameaça sofisticado terá um arsenal de ferramentas à disposição, o que lhe permitirá intensificar o ataque gradualmente. Em termos simples, começará pelos ataques mais baratos e rápidos, evitando revelar sua melhor estratégia; nenhum grande mestre mostrará sua jogada de xadrez mais elaborada quando um peão for suficiente para cumprir o objetivo.

Armas de ataque sofisticadas são valiosas, mas, uma vez identificadas, é provável que sejam desenvolvidas proteções contra elas no futuro, tornando-as obsoletas. Por esse motivo, é provável que um invasor alterne entre diversos ativos como alvos, usando métodos de ataque de baixa a média complexidade, em vez de arriscar sua arma mais valiosa.

Há exceções, é claro: se o alvo for valioso o suficiente, o invasor poderá optar por recorrer ao seu arsenal mais sofisticado.

Resultados do Ataque

Um ataque bem-sucedido pode ter um de dois resultados possíveis: exfiltração ou inserção. A exfiltração é o mais simples dos dois e envolve extrair algo de valor do alvo, como dinheiro, dados financeiros ou informações confidenciais de clientes.

Com a IA agêntica, os riscos aumentam. Está se tornando comum que sistemas de IA agêntica usem o Model Context Protocol (MCP) — promovido pela Anthropic e por outras empresas — como um padrão aberto para interagir com aplicações como navegadores e ferramentas empresariais.

Os navegadores, é claro, são a porta de entrada para tudo, desde sistemas de e-mail até contas bancárias e mecanismos de reserva. As ferramentas empresariais têm acesso a informações proprietárias. Nesse ambiente, tudo o que estiver conectado à IA agêntica via MCP deve ser considerado uma nova e significativa superfície de ataque.

Ataques de inserção são mais difíceis e podem causar mais danos. Pense na analogia de alguém invadir sua casa: a preocupação imediata será com o que foi levado, mas e se o invasor tiver deixado uma câmera e puder observar cada movimento seu?

No domínio digital, a IA agêntica com acesso a navegadores e aplicativos via MCP abre novos caminhos para ataques sofisticados de inserção. Imagine modificar um endpoint de logs para enviá-los a um coletor externo ou alterar a programação de um sistema de segurança física para que ele seja desativado nos fins de semana.

Um agente de ameaça também considerará a movimentação lateral durante um ataque. Uma invasão inicial pode permitir o acesso ao notebook usado por um gerente de nível intermediário, o que abre a possibilidade de se deslocar pelo sistema e encontrar uma forma de elevar os privilégios a um nível mais alto.

O Manual do Código Aberto

Como tudo relacionado à IA, o cenário de ataques está evoluindo rapidamente. Os criadores dos primeiros modelos mantiveram seu funcionamento interno em segredo, mas a abordagem de código aberto da DeepSeek efetivamente disponibilizou ao público um manual de seu modelo R1, mudando as regras do jogo tanto para desenvolvedores quanto para agentes de ameaças.

Mais de 7.000 derivados do R1 já foram criados desde seu lançamento no fim de janeiro, e a origem de muitos deles é, na prática, desconhecida. Embora o compartilhamento de código seja bem-vindo para a inovação, agentes mal-intencionados estão, sem dúvida, investigando o funcionamento do R1 em busca de maneiras de atacar modelos de IA atuais e futuros.
É assim que os agentes mal-intencionados pensam — e nós, da comunidade de segurança, precisamos acompanhar esse ritmo.

Está claro que medidas robustas de segurança defensiva e ofensiva — incluindo testes de intrusão proativos e contínuos em modelos e aplicações de IA — são essenciais para mitigar possíveis riscos. Assim como na medicina, é preferível investir em prevenção a realizar uma análise post mortem.