F5 AI Red Team

O red teaming manual de IA recorre a especialistas humanos para investigar de forma criativa as vulnerabilidades dos sistemas de IA, enquanto o red teaming automatizado utiliza ferramentas e scripts para realizar testes sistemáticos em larga escala. A melhor abordagem combina os dois: automação para garantir uma cobertura abrangente e conhecimento humano especializado para criar cenários de ataque criativos e complexos.

Sem testes adversariais, as organizações correm o risco de sofrer ataques de injeção de prompts, vazamento de dados, jailbreaks e geração de conteúdo não autorizado, o que pode expor dados confidenciais, prejudicar a reputação da marca e comprometer a propriedade intelectual. As descobertas obtidas com os testes adversariais também podem ajudar a orientar programas de gestão de riscos e conformidade em IA alinhados a estruturas como o NIST AI Risk Management Framework (AI RMF) e o Regulamento de Inteligência Artificial da União Europeia (EU AI Act).

O red teaming de IA tem como alvo específico os modelos de IA/ML e suas vulnerabilidades exclusivas, incluindo injeção de prompts e jailbreaks específicos de IA, enquanto os testes de penetração tradicionais se concentram em falhas de segurança de redes, aplicações e infraestrutura. Ele também pode ajudar as equipes de segurança a avaliar riscos específicos de IA contemplados em frameworks como o OWASP Top 10 para aplicações de LLM.

A frequência dos exercícios de red teaming depende de definições de risco específicas, bem como das necessidades próprias do setor e de conformidade. No mínimo, a velocidade das mudanças no cenário de ameaças à IA torna a realização mensal de exercícios de red teaming um padrão básico. No entanto, muitas equipes geram relatórios de red teaming diariamente como parte dos pipelines de CI/CD.

No momento, o F5 AI Red Team usa agentes para executar campanhas de ataque, mas o alvo dessas campanhas é um modelo ou aplicativo implantado, e não especificamente um agente. Em essência, os agentes de IA são simplesmente modelos capazes de executar tarefas encadeadas por meio de chamadas de ferramentas; portanto, muitas das vulnerabilidades descobertas no modelo também se aplicam, por extensão, a fluxos de trabalho agênticos.

Frameworks de código aberto, como o Microsoft PyRIT, podem oferecer suporte a fluxos de trabalho personalizados de red teaming de IA e a pesquisas de segurança. O F5 AI Red Team adiciona testes adversariais automatizados em escala empresarial, com um banco de dados de ataques continuamente atualizado, testes em múltiplos turnos, impressões digitais de agentes, campanhas recorrentes, geração de relatórios e opções de implantação em ambientes de nuvem e locais.

F5 AI Red Team pode testar aplicações habilitadas para geração aumentada por recuperação (RAG) quanto a vazamento de dados, injeção de prompts e outras vulnerabilidades adversariais antes que sejam exploradas. As descobertas podem então orientar a correção e os controles em tempo de execução, incluindo F5 AI Guardrails, para ajudar a proteger as interações de IA em produção.

A injeção de prompt usa instruções maliciosas para manipular um modelo ou aplicativo, fazendo com que ele ignore o comportamento pretendido, inclusive por meio de injeção indireta de prompt veiculada por conteúdo recuperado ou dados conectados. O jailbreak é uma forma de prompting adversarial criada para contornar controles ou restrições de segurança do modelo. O red teaming de IA testa ambas as técnicas para identificar onde modelos, aplicativos e fluxos de trabalho podem ser manipulados antes que invasores explorem essas vulnerabilidades.