Protegendo a era dos agentes de IA: do hype aos grandes riscos

James WhiteDiretor de Tecnologia (CTO), Segurança de IA | F5

À medida que o entusiasmo em torno dos agentes de IA se transforma em realidade, organizações do mundo todo estão desenvolvendo casos de uso para que esses agentes atuem internamente. Ao conectar modelos fundacionais a ferramentas e fontes de dados e atribuir a eles tarefas a serem realizadas de forma autônoma, as empresas esperam reduzir custos e operar com mais eficiência.

Em um primeiro momento, os CISOs buscam identificar os equivalentes agênticos dos cortadores de grama e aspiradores robóticos, que oferecem um benefício claro com um nível de risco relativamente baixo. O atendimento ao cliente é um caso de uso inicial evidente, servindo como campo de testes para soluções baseadas em IA de empresas como Intercom, Zendesk e ServiceNow, bem como para sistemas internos.

A Gartner prevê que, até 2029, a IA agêntica resolverá de forma autônoma 80% dos problemas comuns de atendimento ao cliente, sem intervenção humana, resultando em uma redução de 30% nos custos operacionais. Com números como esses, é apenas uma questão de tempo até que os agentes passem a executar outras tarefas empresariais em grande escala e, por fim, sejam incorporados às principais funcionalidades dos produtos. 

Enquanto isso, duas políticas revisadas dos Estados Unidos, políticas dos Estados Unidos sobre o uso de IA em órgãos federais, oferecem uma perspectiva útil sobre o futuro da IA. O Memorando M-25-21 do Escritório de Gestão e Orçamento (OMB) da Casa Branca, publicado em 7 de abril de 2025, afirma: “Os órgãos devem se concentrar em melhorar a eficácia de suas missões por meio do uso da IA, aproveitando suas capacidades existentes para promover a inovação responsável em IA, fortalecer seus talentos em IA e em áreas que viabilizam a IA e aprimorar sua capacidade de desenvolver e adquirir soluções de IA.” Nas empresas, os objetivos certamente são os mesmos. 

O memorando determina que todos os órgãos federais mantenham ou designem, no prazo de 60 dias, um diretor de IA com “experiência significativa em IA” e publiquem, no prazo de 180 dias, uma estratégia para promover o uso da IA. Ele também inclui uma lista de categorias nas quais o uso da IA como principal fundamento para uma decisão ou ação é considerado de “alto impacto”. Entre os exemplos, estão:

• Funções críticas para a segurança de infraestruturas ou instalações governamentais, incluindo serviços de emergência, segurança dos alimentos e sistemas de controle de tráfego;
• Na área da saúde, funções clinicamente relevantes de dispositivos médicos; diagnóstico ou tratamento de pacientes; controle de custos e subscrição de seguros de saúde;
• Controle do acesso a instalações governamentais ou da segurança dessas instalações;
• Na aplicação da lei, elaboração de avaliações de risco sobre indivíduos; identificação de suspeitos; previsão de crimes; rastreamento de pessoas e veículos; uso de identificação biométrica; monitoramento de redes sociais; detecção de armas ou atividades violentas; decisões relacionadas a detenção, condenação, liberdade condicional ou fiança
• Capacidade de solicitar serviços, processos e benefícios federais essenciais, incluindo empréstimos e acesso à moradia pública, ou de decidir sobre essas solicitações;
• Determinação dos termos ou condições do emprego federal, incluindo remuneração ou promoção, gestão de desempenho, contratação ou demissão, ou medidas disciplinares.

Cuidado: agentes em ação

A lista não exaustiva sugere que a Casa Branca considera essas e outras atividades de alto impacto casos de uso realistas para a IA. Embora o memorando não faça referência específica a agentes de IA, a maioria dos casos de uso — como tomar decisões sobre o acesso a moradia, empréstimos ou benefícios — claramente envolveria a conexão de modelos a outras ferramentas e bancos de dados, que provavelmente conteriam informações confidenciais e de identificação pessoal.

Isso é um problema, pois todos os principais modelos de IA, que funcionam como o “cérebro” dos agentes de IA, comprovadamente apresentam vulnerabilidades — algo que, no âmbito empresarial, deve ser levado muito a sério ao se utilizar a IA em atividades de negócios. A mais recente edição do Panorama de incidentes e explorações de segurança em IA generativa da OWASP, por exemplo, destaca agentes mal-intencionados que burlam as restrições dos modelos e usam IA para phishing e golpes de clonagem de voz. Somando-se a isso a interconectividade e a interoperabilidade, surgem novos vetores de ataque que elevam consideravelmente os riscos de segurança.

Para agravar o problema, o nível de ameaça está diretamente relacionado ao número de ferramentas vinculadas ao(s) agente(s). Se um agente tiver acesso a bancos de dados, todos os bancos de dados da organização estarão potencialmente vulneráveis; se tiver acesso ao e-mail e ao navegador, o sistema de e-mail poderá ser conectado a um agente mal-intencionado capaz de tentar incansavelmente invadir a organização por meio de phishing. (Ao contrário de invasores humanos, os agentes nunca se cansam e podem responder em tempo real, tornando os ataques mais convincentes.)

Agora, considere o fator de combinação: um agente que tenha acesso tanto ao banco de dados quanto ao e-mail poderia ser usado como arma por um agente mal-intencionado para exfiltrar dados ou realizar um ataque de infiltração, injetando novos dados no sistema. Além disso, há o risco de que pessoas de dentro da organização façam uso indevido do agente — acidental ou maliciosamente —, causando ainda mais danos, já que elas já estão dentro das defesas da organização.

À medida que os modelos se tornam cada vez mais comoditizados, fica claro que a segurança, e não o desempenho, é o principal diferencial na avaliação de sistemas e agentes de IA para o ambiente de trabalho. Um sistema de alto desempenho vulnerável a ataques ou exploração não tem lugar em ambientes empresariais ou federais.

Por sua vez, o memorando orienta as agências federais a implementar uma “IA confiável” e adotar práticas mínimas de gestão de riscos para sistemas de IA de alto impacto. Se a IA de alto impacto não estiver apresentando um desempenho adequado, as agências deverão ter um plano para suspender seu uso até que sejam tomadas medidas para garantir a conformidade. As empresas que estejam considerando o uso de agentes devem adotar planos semelhantes.

Uma nova resposta de segurança

No entanto, uma gestão de riscos eficaz deve começar antes do evento, em vez de se concentrar em suas consequências. Compreender a ameaça representada pelo agente é o primeiro passo para lidar com ela. Avaliar corretamente o nível de ameaça de qualquer agente é essencial — primeiro, para decidir se alguma medida é necessária; e, segundo, para tomar uma decisão fundamentada sobre a medida adequada.

Se a resposta de segurança for excessiva, ela poderá sufocar a inovação; se for insuficiente, não conseguirá reduzir a ameaça de forma eficaz. No entanto, ferramentas tradicionais, como o red teaming manual, e métricas pouco refinadas, como a Taxa de Sucesso de Ataques — que considera todos os ataques equivalentes —, são inadequadas para lidar com as ameaças representadas pela IA, dada sua capacidade de aprender e se adaptar.

Um novo e complexo vetor de ameaças exige uma nova resposta de segurança. Nessas circunstâncias, a melhor maneira de as organizações ampliarem sua segurança de forma eficaz é compreender adequadamente o tipo e a complexidade do ataque e adotar as medidas apropriadas.

A melhor maneira de fazer isso é combater fogo com fogo, usando agentes de IA inteligentes e personalizáveis para simular interações adversariais e automatizar os testes de red team em sistemas de IA antes do lançamento. F5 AI Red Team fornece às empresas uma equipe de agentes de teste, permitindo que os líderes de segurança quantifiquem o nível de ameaça da IA e adotem as medidas corretivas adequadas.

Além de oferecer a simulação mais próxima possível de atividades do mundo real, o red teaming automatizado reduz a janela de tempo que tradicionalmente favorece os invasores, proporcionando às empresas a cobertura de segurança mais eficaz no menor tempo possível. Na F5, desenvolvemos métricas exclusivas de pontuação de segurança: o Índice Abrangente de Segurança de IA (CASI) e a Pontuação de Resistência Agêntica (ARS), que avaliam a segurança dos modelos de IA e embasam as classificações nos respectivos rankings.

É claro que segurança nunca é algo que se faz uma única vez, e com os agentes não é diferente. O monitoramento contínuo é fundamental para garantir que a exposição a ameaças permaneça reduzida e que uma postura de segurança adequada seja mantida. À medida que a IA agêntica ganha espaço, uma abordagem proativa de segurança oferece a melhor oportunidade de adotar agentes com segurança e acelerar o uso da IA para os fins a que se destina.

Sobre o autor

James WhiteDiretor de Tecnologia (CTO), Segurança de IA | F5

James White é um engenheiro e líder empresarial de destaque, com quase duas décadas de experiência no setor de software empresarial.

Mais publicações de James White