Protegendo a IA agêntica: como a F5 se alinha ao OWASP Agentic Top 10

Louise ScullyGerente Sênior de Marketing de Produto, Segurança de IA e Inteligência de Ameaças | F5

A IA agêntica hoje está aproximadamente no mesmo estágio em que a IA generativa estava há um ano. A maioria das organizações com projetos de IA agêntica ainda está na fase piloto, mas algumas cargas de trabalho iniciais já estão começando a interagir com sistemas de produção. As equipes estão indo além de simples consultas a modelos e experimentando agentes de orquestração, agentes de trabalho especializados e fluxos de trabalho que utilizam ferramentas e podem coordenar ações entre aplicações e serviços.

À medida que esses sistemas agênticos evoluem, os riscos também aumentam. Nas interações tradicionais com LLMs, as falhas geralmente começam e terminam em uma única troca de prompt e resposta entre o modelo e os seres humanos. Em sistemas agênticos, as falhas se propagam por planos de várias etapas, pelo uso de ferramentas, pelo gerenciamento e pela reutilização de contexto e pelas interações entre agentes e aplicações existentes.

O novo OWASP Top 10 para Aplicações Agênticas oferece uma visão estruturada de onde esses riscos surgem. Ele define dez categorias de falhas que ocorrem quando modelos e agentes recebem objetivos, ferramentas, contexto e a capacidade de atuar em diferentes sistemas. A lista se baseia no já anunciado OWASP Top 10 para Aplicações de Modelos de Linguagem de Grande Escala para abordar ameaças da IA agêntica relacionadas à autonomia, ao uso de ferramentas, ao gerenciamento de contexto, às cadeias de suprimentos e às interações entre múltiplos agentes.

Com este novo OWASP Top 10, líderes de segurança e equipes de conformidade passam a contar com uma linguagem comum para discutir os riscos da IA agêntica, alinhar os esforços de segurança e determinar quais áreas devem ser priorizadas.

Por que isso é importante para CISOs

O OWASP Agentic Top 10 destaca os modos de falha que estão moldando a adoção segura da IA. Agora, os CISOs precisam aplicar essas orientações aos sistemas que já estão entrando em produção.

A F5 oferece suporte a isso por meio de:

• F5 AI Guardrails, aplicando políticas de segurança em tempo de execução para controlar o comportamento da IA à medida que sistemas agênticos entram em produção.
• F5 AI Red Team, avaliando sistemas de IA generativa para analisar a resiliência no mundo real em relação ao comportamento dos modelos, às aplicações e aos fluxos de execução de agentes.
• Índice Abrangente de Segurança de IA (CASI) e Pontuação de Resistência Agêntica (ARS), disponibilizados por meio do F5 Labs, fornecendo parâmetros de referência padronizados para medir a resiliência no nível dos modelos e dos sistemas e apoiar decisões de segurança bem fundamentadas.

À medida que a IA agêntica avança, as organizações que mais se beneficiarão serão aquelas que incorporarem a resiliência desde o início e tratarem a segurança como um elemento fundamental na forma como esses sistemas são projetados e operados.

OWASP Agentic Top 10 — Como esses riscos se manifestam

ASI01 – Sequestro do objetivo do agente

Quando os objetivos de um agente são alterados por meio de injeção de prompt, contexto contaminado ou desvio do plano.

• F5 AI Red Team testa cenários de injeção indireta de prompts extraídos de sua biblioteca de ataques, nos quais fontes de conteúdo controladas por invasores ou não confiáveis, como documentos, páginas da web, e-mails ou saídas de ferramentas, são usadas para introduzir instruções maliciosas e avaliar com que facilidade os objetivos do agente podem ser alterados.
• F5 AI Guardrails aplica a validação de entradas e restringe caminhos de raciocínio inseguros ou não conformes durante a inferência, reduzindo o risco de comportamentos indesejados em etapas posteriores.
• O ARS mede a resiliência contra sequências de ataques prolongados, conduzidos por agentes e executados em várias etapas.

ASI02 – Uso indevido e exploração de ferramentas

Quando um agente usa ferramentas de forma indevida ou invasores exploram interfaces de ferramentas como pontos de pivô.

• O F5 AI Guardrails valida solicitações relacionadas a ferramentas em tempo de execução e restringe padrões de raciocínio que possam levar a interações inseguras com ferramentas.
• CASI e ARS refletem a suscetibilidade ao uso indevido em padrões de execução representativos.

ASI03 – Abuso de identidade e privilégios

Quando agentes herdam ou usam indevidamente credenciais, tokens ou acessos elevados.

• O F5 AI Guardrails pode detectar segredos, credenciais ou tokens no contexto de raciocínio e bloqueá-los ou registrá-los antes que uma ferramenta seja acionada com acesso implícito ou explícito.

ASI04 – Vulnerabilidades da cadeia de suprimentos de agentes de IA

Riscos decorrentes de servidores MCP, registros, pacotes remotos de prompts e ferramentas de terceiros que dão suporte aos fluxos de trabalho de agentes.

• O F5 AI Guardrails detecta e bloqueia instruções ocultas ou prompts injetados incorporados aos dados consumidos por agentes, incluindo dados de fontes confiáveis ou previamente aprovadas, em tempo de execução durante os fluxos de trabalho dos agentes.
• O CASI e o ARS medem o risco no nível do sistema, identificando como as vulnerabilidades se propagam entre modelos e padrões de execução, em vez de tratar cada componente isoladamente.

ASI05 – Execução inesperada de código

Quando agentes geram, executam ou modificam código, shells ou configurações de maneiras inseguras.

• F5 AI Guardrails aplica políticas granulares às saídas relacionadas a código, impondo listas de permissões e bloqueando padrões de alto risco.
• O CASI e o ARS capturam esses comportamentos em caminhos de execução representativos.

ASI06 – Gerenciamento de contexto e manipulação da recuperação

Quando o contexto persistente ou recuperado é contaminado, manipulado ou sofre desvios.

• F5 AI Red Team avalia cenários em que agentes consomem e reutilizam contextos não confiáveis ou enganosos fornecidos por meio de entradas normais em tempo de execução, analisando como a degradação do contexto afeta o raciocínio e as ações subsequentes.
• F5 AI Guardrails inspeciona o contexto recuperado em busca de violações de políticas e detecta cargas maliciosas de injeção de prompt antes que elas influenciem o comportamento do modelo.
• O CASI e o ARS medem a resiliência ao envenenamento de contexto em tempo de execução e à propagação baseada em injeção.

ASI07 – Comunicação insegura entre agentes

Quando agentes trocam mensagens sem proteção do canal, autenticação ou verificações de integridade.

• F5 AI Guardrails pode detectar e sinalizar, em tempo de execução, a intenção de delegação de agentes, inclusive quando um agente ou gerenciador de agentes avalia qual agente deve ser acionado para executar uma tarefa, além de aplicar controles de política para restringir decisões de delegação de alto risco.
• O CASI e o ARS oferecem visibilidade sobre como os padrões de execução em várias etapas e com múltiplos agentes aumentam o risco sistêmico ao longo do tempo.

ASI08 – Falhas em cascata

Quando vários riscos se acumulam ao longo de etapas, agentes ou sistemas.

• F5 AI Guardrails limita o raio de impacto por meio de cotas, controles de políticas e aplicação de regras em tempo de execução.
• O CASI mede a resiliência diante de diversos vetores de ataque, enquanto o ARS avalia até que ponto as falhas podem se propagar durante uma execução agêntica contínua e em várias etapas.

ASI09 – Exploração da confiança entre humanos e agentes

Quando agentes exploram a confiança humana por meio de instruções convincentes ou enganosas.

• F5 AI Guardrails marca e bloqueia conteúdo não seguro e registra as decisões para fins de auditoria.
• F5 AI Red Team simula padrões de engenharia social para aprimorar o design dos fluxos de trabalho e a conscientização dos operadores.

ASI10 – Agentes desonestos

Quando agentes comprometidos ou que se desviaram do comportamento esperado permanecem em sistemas complexos sem serem detectados.

• O F5 AI Guardrails aplica políticas de forma consistente à medida que o comportamento dos agentes evolui, bloqueando padrões de execução inseguros ou tentativas de exfiltração de dados.
• O CASI e o ARS detectam desvios comportamentais ao monitorar mudanças mensuráveis nos sinais de risco ao longo do tempo.

Como a F5 oferece segurança de IA para fluxos de trabalho agênticos

A segurança de IA é uma parte essencial da F5 Application Delivery and Security Platform (ADSP). Os fluxos de trabalho agênticos introduzem novos riscos na forma como prompts, ferramentas, contexto e agentes interagem na camada de aplicações e APIs, mas essas interações ainda percorrem os mesmos caminhos da Web, de APIs, do plano de dados e do plano de controle que as organizações já protegem atualmente.

Ao ampliar os controles de segurança e a visibilidade sobre o comportamento durante a inferência, a F5 permite que as organizações enfrentem os riscos associados a agentes de IA, aproveitando as bases de segurança de aplicações nas quais já confiam.

A F5 continua apoiando os esforços da comunidade em geral para fortalecer as práticas de IA segura, incluindo o trabalho do OWASP GenAI Security Project.

Saiba mais sobre o F5 AI Red Team e o F5 AI Guardrails.

Sobre o autor

Louise ScullyGerente Sênior de Marketing de Produto, Segurança de IA e Inteligência de Ameaças | F5

Louise Scully é gerente sênior de Marketing de Produtos para Segurança de IA e Inteligência de Ameaças na F5. Sua carreira abrange marketing de produtos, gestão de produtos, estratégia de entrada no mercado, comunicação, liderança de pensamento e desenvolvimento de categorias nas áreas de segurança de IA e tecnologia empresarial. Antes de ingressar na F5, Louise liderou o marketing na CalypsoAI e na Artomatix, ajudando a levar tecnologias e pesquisas de IA ao mercado.

Mais publicações de Louise Scully