Resistência agêntica: acelerando a IA para os fins a que se destina

Em Jurassic Park, há uma cena famosa em que o guarda-caça, Muldoon, descreve como os raptores testam sistematicamente as cercas de alta tensão em busca de pontos fracos. Eles nunca verificam o mesmo lugar duas vezes. “Eles se lembram”, diz Muldoon, ao se dar conta disso.

É uma boa analogia para o momento em que estamos, à medida que as empresas correm para adotar a IA. Agentes mal-intencionados estão a postos para explorar vulnerabilidades nesses novos sistemas, contando com ferramentas potencializadas por IA capazes de lembrar o que funciona. Neste momento, as barreiras de proteção não são adequadas para essa finalidade.

Isso é preocupante, pois a sofisticação da IA está avançando rapidamente. Até 2028, 33% dos aplicativos de software empresarial incluirão IA agêntica, ante menos de 1% em 2024, segundo as previsões do Gartner. Até 2029, a IA agêntica resolverá de forma autônoma 80% dos problemas comuns de atendimento ao cliente sem intervenção humana, prevê o Gartner. 

Esses agentes digitais autônomos são, na prática, compostos por três camadas:

• Um propósito: a tarefa específica atribuída ao agente

• Um cérebro: o modelo de IA subjacente, provavelmente de uma das empresas de IA de ponta

• Ferramentas: acesso às ferramentas de que o agente precisa para cumprir sua finalidade, desde sistemas de software internos até navegadores e e-mail

Por natureza, cada agente é diferente. Pode haver vários agentes em um sistema, abrindo caminho para um futuro em que potencialmente haverá bilhões de agentes executando tarefas em organizações no mundo todo. Essas tarefas irão desde as operações administrativas mais corriqueiras até atividades muito mais sensíveis e essenciais para os negócios.

Um agente de agendamento de reuniões pode ter acesso, por meio de APIs, aos calendários corporativos e a um sistema de reserva de férias, além de ter autorização para reservar salas. Por meio de interações rápidas e autônomas entre o cérebro e as ferramentas, o agente encontra o que precisa e agenda a reunião.

Um usuário final não precisa entender todas as interações internas de um sistema de IA. No entanto, deve esperar que o fornecedor da solução tenha considerado os casos extremos — as situações que podem fazer o sistema falhar — e ofereça proteção contra eles.

O Problema da Permutação

Há questões importantes para as organizações: como comprovar que seu sistema de IA é seguro? Que medidas você tomou para testar seu perímetro? As respostas envolvem supervisão e proteção em cada camada, nos pontos em que o agente interage com o modelo e as ferramentas e vice-versa.

Sem testes e proteções, a IA agêntica fica vulnerável a falhas e ataques externos, com consequências que podem variar de inconvenientes (uma reunião atrapalhada) a desastrosas (um agente autorizado a realizar transações financeiras ou enviar informações de clientes por e-mail a terceiros).

Para evitar que esses casos extremos ocorram no mundo real, você precisa ser capaz de identificá-los. Isso é um problema porque, a cada elemento adicional incluído em um sistema agêntico — como novas ferramentas ou um modelo atualizado —, a complexidade aumenta várias vezes. As possíveis combinações na forma como o agente realiza seu trabalho crescem exponencialmente, assim como a superfície de ataque disponível para agentes mal-intencionados.

Em contraste com isso, os testes de segurança de modelos de IA continuam muito centrados em pessoas. Até mesmo as maiores organizações de IA recorrem a exercícios manuais de red teaming para testar seus modelos. Para os seres humanos, tentar encontrar todas as permutações possíveis em um sistema agêntico é uma tarefa de dificuldade inimaginável e extremamente demorada.

E não é só isso: além do problema das permutações, a composição dos agentes de IA está em constante mudança. Se você substituir o modelo que serve de base para seus agentes por uma nova versão, será necessário reiniciar os testes de segurança do zero. Se a API que se conecta a uma ferramenta for atualizada, também será preciso começar novamente.

Há também a possibilidade de que agentes capazes de programar possam, com o tempo, atualizar por conta própria o modelo e/ou as ferramentas. Mesmo um especialista altamente qualificado com acesso às ferramentas de software existentes jamais conseguiria acompanhar esse ritmo.

Apresentando a Resistência Agêntica

O desafio de testar novas tecnologias exige uma solução tecnológica superior: usar agentes de IA avançados para automatizar testes de intrusão em sistemas de IA e identificar vulnerabilidades e falhas. Chamamos isso de Resistência Agêntica, e ela representa a nova fronteira da segurança de IA.

A Resistência Agêntica enfrenta diretamente o desafiador problema de permutação, aproveitando os atributos dos agentes:

• Na camada de propósito, podemos alterar constantemente o propósito de um agente ou adicionar outros agentes simplesmente escrevendo uma nova descrição.

• Na camada de inteligência, estamos sempre nos atualizando para incorporar as vantagens dos modelos de IA mais recentes, como os recém-chegados modelos de raciocínio.

• Na camada de ferramentas, podemos criar interfaces para dar aos nossos agentes acesso a conjuntos de ferramentas de código aberto para testes de invasão.

O que temos agora é um poderoso sistema agêntico criado especificamente para encontrar falhas e casos extremos em sistemas de IA. Ele usa sua inteligência para identificar quais tarefas deve realizar, em que ordem e com quais ferramentas, a fim de cumprir seu propósito. Com memória integrada, o agente aprende a cada etapa.

O Agentic Resistance é capaz de enfrentar o desafio, antes considerado incompreensível, de proteger a IA agêntica, aplicando recursos de ataques de permutação por força bruta com uma camada de inteligência integrada. Assim, elimina-se a incompatibilidade atualmente existente entre a IA agêntica e o red teaming manual.

Essa nova abordagem também desmente a ideia equivocada de que a segurança de IA é um gargalo. Ao permitir a rápida identificação de falhas no seu sistema de IA antes do lançamento e de forma contínua, o sistema se torna inerentemente mais seguro e o ritmo de iteração é acelerado.

É isso que a Resistência Agêntica proporciona: uma detecção de ameaças prática e ágil, que oferece a melhor chance de acelerar o uso da IA para os fins a que se destina.

Alerta de spoiler: em Jurassic Park, quando a energia acabou e a cerca falhou, os velocirraptores estavam prontos para escapar. A mensagem para as empresas é pensar como os velocirraptores, usando as tecnologias mais recentes para testar sistematicamente seus perímetros e garantir que eles não possam ser facilmente violados.

O F5 Comprehensive AI Security Index classifica os principais modelos de IA com base em testes de segurança realizados em condições reais, revelando riscos críticos ignorados pelos benchmarks de desempenho. Desenvolvido pela F5 AI Red Team, é a única ferramenta que ajuda você a encontrar o modelo mais seguro antes da implantação.