Insights do F5 Labs sobre segurança de modelos de IA: o que os CISOs precisam avaliar antes e depois da implantação

Malcolm HeathPesquisador Principal de Ameaças à Cibersegurança | F5

Louise ScullyGerente Sênior de Marketing de Produto, Segurança de IA e Inteligência de Ameaças | F5

A IA empresarial está entrando em uma nova fase. A diferença de desempenho entre os principais modelos está diminuindo, mas a lacuna de segurança não. Os dados mais recentes do F5 Labs Comprehensive AI Security Index (CASI) mostram que a capacidade e a resiliência contra ataques estão cada vez mais divergentes, enquanto os resultados do F5 Agentic Resistance Score (ARS) mostram que a resiliência pode mudar novamente quando os modelos são testados ao longo do tempo em cenários agênticos de várias etapas.

Para os CISOs, isso muda a natureza da seleção de modelos. A questão não é simplesmente qual modelo apresenta o melhor desempenho, mas se suas características de segurança são adequadas à função que ele desempenhará, à autoridade que terá e às consequências caso seja manipulado com sucesso.

Não existe um único benchmark de segurança capaz de determinar se um modelo é adequado para uma determinada implantação. Os resultados de setembro do F5 CASI e do F5 ARS deixam isso claro: apenas três modelos estão entre os 10 primeiros em ambos os rankings. Para os CISOs, isso significa que as evidências de segurança usadas para aprovar um modelo devem refletir como ele realmente funcionará, incluindo seu nível de autonomia, o acesso a dados e ferramentas e o possível impacto nos negócios caso seja comprometido.

Isso se baseia em uma série de descobertas que temos acompanhado ao longo do ano. Em uma publicação anterior no blog da F5, discutimos por que evidências mensuráveis de segurança precisam ser consideradas na seleção e aquisição de modelos antes que um modelo seja aprovado. Em outra publicação no blog, analisamos uma pesquisa da F5 Labs que mostra por que as consequências de uma falha do modelo dependem, em grande parte, do que o sistema ao redor permite que esse modelo acesse e faça.

Nossas pesquisas mais recentes sobre ameaças e nossos rankings de agosto e setembro reúnem essas ideias: os CISOs precisam de evidências sobre o próprio modelo, mas também sobre o ambiente em que ele será usado.

Um padrão observado nos dados de setembro é particularmente esclarecedor. A Anthropic ocupa as cinco primeiras posições do F5 CASI, enquanto o top 10 do F5 ARS é composto por cinco modelos da OpenAI, quatro da Anthropic e um da MiniMax. Em conjunto, os rankings mostram por que a reputação do fornecedor, a família do modelo e o desempenho não são indicadores confiáveis do tipo específico de resiliência exigido por uma implantação. Para os CISOs, isso significa que as evidências de segurança no nível do modelo precisam embasar a decisão de implantação desde o início.

Desempenho não é uma medida de segurança

Resultados recentes da F5 Labs mostram uma lacuna persistente entre o que um modelo é capaz de fazer e sua resistência a ataques. Em agosto, o GLM-5.2 ficou em quarto lugar entre 31 modelos em capacidade, mas em 24º no F5 CASI; o DeepSeek V4 Flash ficou em sexto lugar em capacidade e em 28º no F5 CASI. O Grok 4.5 apresentou a mesma divergência entre os modelos fechados. O padrão estava associado ao modelo específico, não ao fornecedor nem à licença.

Os resultados de segurança podem divergir de forma igualmente acentuada. Três modelos Qwen3.5 registraram pontuações F5 ARS de 91,04, 89,81 e 88,23, enquanto suas respectivas pontuações F5 CASI foram 58, 31 e 53 (a pontuação máxima em ambos os rankings é 100). A conclusão não é que uma métrica tenha mais autoridade do que a outra. Elas revelam diferentes vulnerabilidades diante de diferentes formas de ataque.

Isso muda a forma como os benchmarks de modelos devem ser usados em um processo de aprovação. O desempenho pode ajudar a reduzir a lista de opções, mas não é suficiente para justificar a segurança da implantação. Um bom resultado em uma única métrica de segurança também precisa ser interpretado dentro do contexto. As evidências devem refletir a função que o modelo desempenhará, o grau de autonomia que terá e os sistemas aos quais poderá ter acesso.

Em um relatório de julho de 2026, a Gartner analisou o papel cada vez mais relevante da segurança comparativa. Os dados recentes tornam a justificativa mais clara: a seleção de modelos precisa considerar não apenas o que um modelo é capaz de fazer, mas também em que ponto sua resiliência começa a falhar.

Avalie em que o modelo pode confiar

Uma das conclusões mais relevantes da pesquisa de agosto diz respeito a uma capacidade que as empresas buscam ativamente: a habilidade de operar de acordo com as políticas e regras fornecidas.

“Dilema Moral,” um ataque analisado pela F5 Labs, explora esse comportamento. Em vez de disfarçar uma instrução maliciosa, o invasor fornece uma regra enganosa e pede ao modelo que raciocine com base nela. A taxa média de sucesso do ataque variou de 44,8% contra o Llama 3.1 8B a 91,1% contra o Gemini 2.5 Pro, e a F5 Labs também observou um desempenho ruim dos modelos de proteção no nível do prompt contra essa técnica.

A questão de segurança é se um modelo consegue seguir instruções e, ao mesmo tempo, distinguir quais delas está autorizado a considerar como legítimas. Um documento recuperado pode ser considerado uma fonte confiável de informações sem que seja considerado uma política confiável. A resposta de uma ferramenta pode fornecer dados sem ter autoridade para redefinir o que um agente pode fazer com eles.

Para os CISOs que avaliam modelos antes da implantação, as equipes precisam saber de onde vem o contexto externo e quais fontes têm permissão para influenciar o comportamento do modelo.

Um prompt não é um limite de segurança

A mesma pesquisa destaca onde termina a governança de modelos e começa a arquitetura de segurança. A F5 Labs analisou três casos em que agentes ultrapassaram os limites de seus ambientes de avaliação previstos. Em um deles, um agente que não deveria ter acesso à Internet além de um proxy de registro de pacotes encontrou uma vulnerabilidade de dia zero nesse proxy, alcançou um nó conectado à Internet e obteve a execução de comandos como root em um sandbox externo. Outros casos envolveram a manutenção de conectividade ativa, apesar de os modelos terem sido informados de que estavam operando sem acesso à Internet, e uma fuga de sandbox causada por uma configuração incorreta da rede.

O problema comum não era simplesmente o fato de um agente ter ignorado uma instrução. O próprio limite havia sido presumido, descrito ou implementado incorretamente. A implicação prática é clara: decidir o que um agente deve ter permissão para fazer só faz sentido se o ambiente impuser o mesmo limite.

Os dados de identidade reforçam esse ponto. A GitGuardian encontrou 4.576 tokens de API exclusivos do n8n em commits públicos no GitHub; das 896 instâncias acessíveis, 321 aceitaram pelo menos um token exposto. Não foi necessário explorar nenhuma vulnerabilidade de software. Como esses fluxos de trabalho podem se conectar a sistemas de controle de versão, serviços de nuvem, bancos de dados e aplicações SaaS, a exposição pode se estender muito além do próprio fluxo de trabalho.

Portanto, a questão não é apenas se um agente pode ser manipulado, mas também o que se torna possível caso isso aconteça. O acesso à rede, as ferramentas, as credenciais e os sistemas subsequentes determinam o alcance do impacto. Esses controles precisam existir independentemente do que foi dito ao modelo que ele pode ou não fazer.

Modelos de pesos abertos mudam a atribuição de responsabilidade

O relatório da F5 Labs, Modelos chineses de IA com pesos abertos: riscos e benefícios para a segurança cibernética, acrescenta outra consideração à seleção de modelos: “pesos abertos” não constituem, por si só, uma classificação de segurança.

Em julho, o Qwen3.5-397B-A17B obteve 81,13 pontos no F5 CASI, o Xiaomi MiMo-V2.5 obteve 73,80 e o GLM-5.2 obteve 46,58. Essa variação é mais útil do que qualquer conclusão geral sobre a categoria. Ela mostra por que a família do modelo, o provedor e o modelo de licenciamento não substituem adequadamente os testes do modelo específico que está sendo considerado.

O que a implantação de modelos com pesos abertos de fato muda é a atribuição de responsabilidades. Um maior controle sobre a localização dos dados, a infraestrutura e a personalização também implica maior responsabilidade pela procedência, aplicação de patches, geração de logs e integridade dos artefatos de modelo. A F5 Labs recomenda tratar os artefatos de modelo como componentes da cadeia de suprimentos de software, o que inclui verificar a procedência, fixar versões confiáveis e analisar os artefatos antes da implantação.

Portanto, a decisão tem menos a ver com o fato de uma solução aberta ou fechada ser inerentemente mais segura e mais com quais riscos a organização está preparada para assumir.

O que os CISOs devem avaliar antes da implantação

As descobertas recentes indicam que a segurança dos modelos não deve ser tratada como uma única etapa de aprovação. Uma análise útil antes da implantação precisa responder a uma série de perguntas:

• Capacidade e resiliência adversarial: O modelo consegue executar a tarefa e como ele se comporta diante de ataques relevantes para essa tarefa?
• Resiliência no nível de prompts e de agentes: As evidências refletem a forma como o modelo realmente operará, especialmente quando houver ferramentas, credenciais ou ações autônomas envolvidas?
• Autoridade das instruções: Quais sistemas podem fornecer contexto e quais deles têm permissão para influenciar políticas ou comportamentos?
• Limites impostos: O que está tecnicamente fora do alcance do modelo, independentemente do que um prompt lhe diga?
• Identidade e procedência: Quais credenciais, versões de modelos e artefatos são considerados confiáveis e como são gerenciados?
• Reavaliação: Quais mudanças invalidariam a aprovação original, incluindo atualizações do modelo, novas ferramentas, alterações de permissões ou novas técnicas de ataque?

Ao responder a essas perguntas, os CISOs evitarão reduzir várias decisões de risco distintas a uma única questão sobre se um modelo é “seguro” ou não.

Como a F5 Labs mede a resiliência da IA

O F5 CASI e o F5 ARS devem ser entendidos como evidências, não como certificações. O F5 CASI mede a vulnerabilidade a ataques comuns de injeção de prompt e jailbreak, enquanto o F5 ARS avalia a resiliência em cenários de várias etapas e com agentes autônomos. Os rankings de setembro de 2026 apresentam a comparação mais recente entre as duas métricas.

Uma pontuação é mais útil quando está vinculada à implantação em análise. Ela não permite determinar se um agente tem privilégios excessivos, se um sandbox está configurado corretamente ou se uma fonte externa pode introduzir instruções nas quais o modelo não deveria confiar. No entanto, pode fornecer às equipes de segurança informações específicas sobre como esse modelo se comportou sob condições adversariais definidas.

Esse é o fio condutor desta série de pesquisas. E as descobertas mais recentes da F5 deixam claro que, antes de implantar modelos de IA, as organizações precisam saber quais propriedades de segurança foram de fato avaliadas, quais não foram e se os controles existentes ao redor são suficientes para mitigar o risco remanescente.

Saiba mais:

• Confira os mais recentes rankings de segurança de IA do F5 CASI e do F5 ARS para comparar a resiliência dos modelos e acompanhar as mudanças ao longo do tempo.
• Conheça a F5 AI Security Platform para proteger modelos, aplicações e agentes de IA em toda a empresa.
  
  

Sobre os autores

Malcolm HeathPesquisador Principal de Ameaças à Cibersegurança | F5

Malcolm Heath é o Pesquisador Principal de Ameaças da F5 Labs. Sua carreira inclui resposta a incidentes, gerenciamento de programas, testes de invasão, auditoria de código, pesquisa de vulnerabilidades e desenvolvimento de exploits em empresas de todos os portes. Antes de ingressar na F5 Labs, ele foi Engenheiro Sênior de Segurança no F5 SIRT.

Mais publicações de Malcolm Heath

Louise ScullyGerente Sênior de Marketing de Produto, Segurança de IA e Inteligência de Ameaças | F5

Louise Scully é gerente sênior de Marketing de Produtos para Segurança de IA e Inteligência de Ameaças na F5. Sua carreira abrange marketing de produtos, gestão de produtos, estratégia de entrada no mercado, comunicação, liderança de pensamento e desenvolvimento de categorias nas áreas de segurança de IA e tecnologia empresarial. Antes de ingressar na F5, Louise liderou o marketing na CalypsoAI e na Artomatix, ajudando a levar tecnologias e pesquisas de IA ao mercado.

Mais publicações de Louise Scully