Não dá para proteger uma conversa com um firewall: como o red teaming de IA se tornou essencial para a missão

Tendências do setor | 16 de abril de 2026

A explosão do uso de IA desde 2020 é sem precedentes. Em termos de adoção, a IA avança mais rápido que a computação em nuvem, que as tecnologias móveis e, certamente, que a Internet em seu tempo. O Gartner prevê que mais de 80% das empresas implementarão IA neste ano.

Ao classificar a jornada de uma empresa na adoção de IA, identificamos quatro categorias de maturidade, que muitas vezes se desenvolvem em paralelo, e não em sequência:

  • A categoria 1 é a de IA de uso geral e produtividade — pense em funcionários usando ChatGPT, Gemini, Copilot etc.
  • A categoria 2 abrange organizações que têm casos de uso internos e criam chatbots personalizados para áreas como RH ou TI.
  • A categoria 3 inclui casos de uso externos, como o desenvolvimento de aplicações de IA generativa voltadas ao público, incluindo chatbots de atendimento ao cliente.
  • A categoria 4 corresponde a fluxos de trabalho agênticos, que são compostos por sistemas complexos que executam ações de forma autônoma em nome dos usuários.

É nessas três últimas categorias que a segurança se torna essencial. Isso porque as organizações estão desenvolvendo softwares complexos com base em modelos de IA não determinísticos, criando vulnerabilidades que os firewalls tradicionais simplesmente não conseguem detectar.

“É evidente que as empresas que implementam IA precisam de testes automatizados rápidos contra vulnerabilidades conhecidas apenas para estabelecer um nível básico de segurança.”

A segurança é sempre uma prioridade para as empresas, mas, com a IA, a preocupação é diferente: trata-se de um ponto cego. Os líderes de segurança passaram os últimos 20 anos implantando e configurando firewalls de aplicações web (WAFs) para proteger suas aplicações web, sites e até mesmo APIs. Mas os WAFs, embora extremamente úteis, têm limitações quando se trata de IA. O processamento de linguagem natural usado na IA pode dificultar a detecção tradicional dos WAFs; em termos simples, não é possível proteger uma conversa com um firewall. As empresas precisam de uma nova abordagem para proteger suas aplicações e APIs onde quer que estejam e garantir a segurança da IA em todos os lugares.

É por isso que 75% dos CISOs estão relatando incidentes de segurança de IA; suas defesas atuais simplesmente não foram projetadas para detectar essas ameaças. É também por isso que 91% já detectaram tentativas de ataque à sua infraestrutura de IA e que nada menos que 94% estão agora priorizando testes em seus sistemas de IA.

Novas categorias de ataques cognitivos

Na era da IA, as organizações não estão lidando apenas com vulnerabilidades de código. Elas estão enfrentando categorias inteiramente novas de ataques cognitivos, incluindo:

As proteções de segurança tradicionais lidam com entradas determinísticas, mas a injeção de prompt e outros ataques em linguagem natural são problemas semânticos, não de correspondência de padrões. Não se trata de falhas isoladas; são riscos sistêmicos para os negócios introduzidos por arquiteturas baseadas em IA.

Há muitos exemplos reais de como a IA está mudando o modelo de ameaças. Uma violação de segurança em um fornecedor internacional de software no verão passado teve origem em uma falha na lógica de isolamento entre tenants no servidor MCP que permitiu a exposição de dados entre organizações. Trata-se de uma falha clássica de ambientes multitenant, mas ela é mais perigosa em sistemas baseados em LLMs porque os dados vazados aparecem na forma de linguagem fluente, o que torna sua detecção muito mais difícil.

Enquanto isso, um incidente em uma empresa global de tecnologia revelou uma falha diferente: a violação dos limites de confiança. Uma injeção de prompt redefiniu o papel de um chatbot, e os sistemas de back-end confiaram em suas solicitações de uso de ferramentas sem aplicar controles de autorização no servidor. O problema não foi o modelo ignorar as regras, mas a autorização ter sido indevidamente delegada a ele.

Esses são apenas dois exemplos que fazem parte de um cenário muito mais amplo de riscos emergentes. O setor está correndo para categorizar essas vulnerabilidades de IA. Estão surgindo frameworks como o OWASP Top 10 para Aplicações de Grandes Modelos de Linguagem (LLM), o OWASP Top 10 para Aplicações de IA Agêntica , Mitre Atlas e o Framework de Gerenciamento de Riscos de IA do NIST, mas ainda não temos uma base de dados definitiva nem um padrão unificado que defina o que é, de fato, seguro.

A abordagem tradicional não consegue acompanhar o ritmo

A pressão sobre o setor para adotar IA neste momento é uma questão de sobrevivência. Desenvolvedores estão usando IA para escrever código 10 vezes mais rápido do que nunca; as organizações estão literalmente lançando novas funcionalidades — e até produtos — da noite para o dia.

Ao mesmo tempo, a regulamentação está acelerando o processo no âmbito da conformidade. A Lei de IA da União Europeia, por exemplo, exige explicitamente testes adversariais para sistemas de IA de alto risco e de propósito geral. Na prática, isso significa que o red teaming desenvolvido especificamente para esse fim — a realização de testes em sistemas de IA com ataques adversariais simulados — agora deve ser considerado um componente essencial da arquitetura de segurança de IA, de forma a lidar com os desafios que esses sistemas enfrentam no mundo real.

À medida que CISOs e equipes de segurança tentam proteger ambientes em transformação na velocidade das máquinas, a sensação pode ser a de tentar conter um tsunami com um balde. A conta não fecha. O ritmo é impossível de acompanhar. A superfície de ataque da IA é fundamentalmente diferente, e as abordagens antigas não conseguem acompanhar.

Está claro que o red teaming tradicional é ineficaz e que o red teaming de IA é necessário para resolver o impasse entre velocidade e controle. Com base em conversas com clientes e no trabalho de ajudá-los a proteger seus sistemas de IA, identificamos quatro áreas fundamentais que precisamos considerar:

Primeiro, a evolução das ameaças: os ataques à IA evoluem mais rápido do que os conjuntos estáticos de testes. Assim que as verificações são automatizadas, o modelo de IA ou o ataque muda, e as equipes de segurança acabam fazendo a manutenção dos testes em vez de reduzir os riscos.

Em segundo lugar, a complexidade dos agentes: como os agentes de IA não são sistemas determinísticos, ao adicionar recuperação de informações, ferramentas e memória, as combinações se tornam praticamente infinitas. Você deixa de testar código e passa a testar uma conversa que muda de acordo com o contexto.

Em terceiro lugar, automação e escala: testes manuais de red teaming não são escaláveis para esses sistemas. Pode ser viável lidar com um chatbot. Com centenas ou milhares, não. Não dá para depender de pessoas para repetir milhares de conversas adversariais toda vez que o modelo ou o prompt do sistema é atualizado.

Por fim, relatórios que orientem ações: as descobertas devem ser reproduzíveis e permitir ações concretas. “O bot se comportou mal” não indica o que precisa ser feito. Os engenheiros precisam dos parâmetros da conversa e das condições que desencadearam o comportamento; caso contrário, as correções e as medidas de remediação ficarão paralisadas.

Garantindo que a IA se comporte conforme o esperado, mesmo sob ataque

Vamos trazer isso para a prática com alguns exemplos. Um dos nossos clientes é um banco global que opera em um ambiente altamente regulamentado. Quando começamos a trabalhar com esse cliente, ele tinha mais de 50 casos de uso de IA nas áreas de RH, compras e segurança cibernética, mas não conseguia colocar nenhum deles em produção porque não conseguia comprovar a segurança dessas aplicações aos seus auditores internos.

Os testes de red team de IA com o F5 AI Red Team deram ao banco as evidências necessárias para entender como seus sistemas de IA realmente se comportavam — onde os dados poderiam vazar, como os prompts poderiam ser usados de forma abusiva e onde os controles falhavam em seu ambiente.

Este cliente está usando as descobertas do AI Red Team para aprimorar sua postura de defesa com controles de segurança personalizados por meio do F5 AI Guardrails. Essa combinação permite que o banco amplie o uso da IA em toda a organização com confiança em sua postura de segurança e em seu programa de governança.

No setor público, os testes deixam de ser voluntários e passam a ser obrigatórios. Sob a orientação de órgãos como o NIST e a CISA, as instituições do setor público estão tomando medidas, como testes de estresse adversariais para identificar riscos críticos à missão, como o uso de dados biológicos como arma. Nesse contexto, os exercícios de red teaming de IA não se limitam à redução de riscos; trata-se de manter a continuidade da missão e a autorização para operar.

Seja para proteger dados de clientes ou serviços públicos, a exigência é a mesma: garantia contínua, respaldada por evidências, de que os sistemas de IA se comportem conforme o esperado, mesmo quando alguém tenta comprometê-los.

Eliminando as lacunas de conformidade

Está claro que as empresas que implementam IA precisam de testes automatizados rápidos contra vulnerabilidades conhecidas apenas para estabelecer uma base de referência. O contexto é a nova superfície de ataque; defesas estáticas falham diante de ataques de agentes de IA, por isso as organizações devem testar as cargas de trabalho, não apenas os modelos.

Essas são as lacunas reais que as equipes de segurança estão tentando eliminar agora e os motivos pelos quais os testes de red team em IA estão ganhando destaque. Nesse cenário, a conformidade é uma vantagem competitiva. Com os relatórios adequados, a segurança deixa de ser um obstáculo e passa a ser um facilitador que acelera a chegada da IA de uma empresa ao mercado.

Nesse cenário, as muitas empresas que planejam implementar IA este ano podem fazer isso com confiança, e não com medo, independentemente da etapa em que estejam nessa jornada.

Saiba mais sobre como testar seus sistemas de IA aqui.

Veja os especialistas da F5 demonstrarem como o AI Red Team acelera os testes adversariais contínuos aqui.





Compartilhar

Sobre os autores

Jessica Brennan
Jessica BrennanGerente Sênior de Marketing de Produto, Segurança de IA | F5

Mais publicações de Jessica Brennan
Allan Healy
Allan HealyEngenheiro Sênior de Soluções | F5

Mais publicações de Allan Healy

Publicações relacionadas no blog

IA agêntica em cibersegurança: promessas e riscos
Tendências do setor | 16/10/2026

IA agêntica em cibersegurança: promessas e riscos

Saiba por que o uso de IA agêntica na cibersegurança é essencial para combater ameaças impulsionadas por IA e por que os agentes também criam novos riscos para as empresas.

Como os clientes da F5 no setor financeiro lidam com a soberania digital sem desacelerar a inovação
Tendências do setor | 20/08/2026

Como os clientes da F5 no setor financeiro lidam com a soberania digital sem desacelerar a inovação

Como é a soberania digital na prática? Dois projetos recentes da F5 com clientes mostram como diferentes empresas estão enfrentando esses desafios.

Soberania operacional: construindo resiliência em um mundo imprevisível
Tendências do setor | 01/06/2026

Soberania operacional: construindo resiliência em um mundo imprevisível

Para muitas organizações, a questão já não se resume apenas a controlar os dados. Trata-se de manter a capacidade de operar, adaptar-se e se recuperar à medida que as leis e as condições evoluem.

Segurança de IA com evidências: o que levaremos ao Gartner SRM
Tendências do setor | 26/05/2026

Segurança de IA com evidências: o que levaremos ao Gartner SRM

Antes de sua sessão no Gartner SRM, o vice-presidente sênior de Marketing de Produtos da F5 explica como a F5 ajuda as organizações a proteger a IA em três etapas práticas.

Gestão de riscos de IA: como as proteções podem ajudar a mitigá-los
Tendências do setor | 15/01/2026

Gestão de riscos de IA: como as proteções podem ajudar a mitigá-los

O risco da IA é impulsionado por comportamentos probabilísticos e pela explicabilidade limitada, não apenas por falhas de segurança. Uma gestão eficaz exige controle operacional contínuo.

Lei de IA do Colorado (SB 205): o que as empresas precisam saber antes de 2026
Tendências do setor | 02/06/2025

Lei de IA do Colorado (SB 205): o que as empresas precisam saber antes de 2026

A SB 205 do Colorado, a lei pioneira do estado sobre inteligência artificial, foi sancionada pelo governador Jared Polis em 17 de maio de 2024. O projeto de lei estabelece requisitos para que as empresas que utilizam IA implementem controles destinados a proteger os cidadãos do Colorado.