Avaliando a segurança da IA empresarial: perguntas que todo comprador deve saber responder

A segurança de IA nas empresas está evoluindo rapidamente, e a maioria das organizações ainda enfrenta dificuldades para avaliar com rigor as alegações dos fornecedores. Este estudo da NSS Labs, desenvolvido em colaboração com a F5, a AWS e a Microsoft, apresenta aos líderes de segurança e aos responsáveis por compras nas empresas as perguntas específicas que devem fazer aos fornecedores, os sinais de alerta aos quais devem estar atentos e os critérios de avaliação necessários para tomar decisões de segurança de IA com confiança e embasamento.

Resumo executivo

A segurança de IA nas empresas enfrenta um problema do lado de quem compra. As organizações sabem que a segurança de IA é importante, mas a maioria não dispõe de uma estrutura confiável para avaliar as alegações dos fornecedores, distinguir controles eficazes de medidas superficiais ou exigir que os fornecedores comprovem suas alegações com evidências do mundo real.

Este artigo — o segundo de uma série de duas partes da NSS Labs, desenvolvida em colaboração com F5, AWS e Microsoft — deixa de se concentrar na definição do problema para capacitar os compradores a enfrentá-lo. Enquanto a Parte 1 demonstrou por que proteger apenas o modelo de IA é insuficiente, a Parte 2 transforma essa base em critérios práticos de avaliação em sete áreas críticas de capacidade.

O argumento central: as decisões de compra de soluções de segurança de IA são decisões de governança, não apenas técnicas. Os compradores devem exigir evidências mensuráveis, não diagramas de arquitetura. Isso significa estabelecer parâmetros quantitativos de referência para a eficácia da detecção, o desempenho operacional, os requisitos de auditoria e o alinhamento a frameworks — todos validados em condições reais, não em cenários de teste isolados.

As sete áreas de capacidade analisadas no documento são ameaças de entrada e controle de instruções, riscos relacionados à saída e à exfiltração de dados, resiliência do sistema em condições de degradação, governança de políticas e filtros, IA agêntica e autoridade delegada, observabilidade e análise forense, e integração e interoperabilidade. Cada seção relaciona o risco central a perguntas específicas que os compradores devem fazer aos fornecedores, às características de soluções eficazes e a sinais de alerta concretos aos quais devem estar atentos.

O documento termina com duas recomendações incisivas: exija uma validação independente antes de comprar e trate essa validação como uma prática contínua, não como uma verificação pontual. Fornecedores que resistem a testes rigorosos demonstram imaturidade, não força.

A mensagem central está em três frases da conclusão que merecem ser levadas a sério: a aquisição de soluções de segurança de IA é uma decisão de governança com consequências de longo prazo. Empresas que fazem as perguntas difíceis desde o início estão mais bem preparadas para gerenciar riscos e evitar falhas previsíveis. E a segurança de IA não terá sucesso por meio de novidades ou abstrações — apenas com responsabilização, transparência e avaliação rigorosa.

Sumário

Introdução: Da conscientização à avaliação

Definição de critérios quantitativos de avaliação

Áreas de capacidade essenciais e perguntas que os compradores devem fazer

O que os compradores devem exigir antes de comprar

Preparação para a validação independente

Conclusão: Das alegações à prestação de contas

BAIXE A PARTE 1: Segurança de IA além do modelo: com o que as empresas precisam se preocupar — e por quê

Introdução: Da conscientização à avaliação

À medida que a IA se torna mais presente nos sistemas empresariais de diversas formas, ela abre novas superfícies de ataque, obrigando as empresas a considerar os riscos de segurança da IA. Conselhos de administração, órgãos reguladores e equipes executivas estão começando a reconhecer que os sistemas de IA introduzem novas categorias de exposição a riscos operacionais, jurídicos e reputacionais, além de ampliarem a superfície de ataque. Como resultado, os produtos de segurança de IA voltados à redução desses riscos passaram a ser uma prioridade para as equipes de segurança das empresas.

Essa conscientização, porém, não garante preparo e, embora as empresas reconheçam cada vez mais a importância da segurança de IA, muitas têm dificuldade para avaliar de forma eficaz as alegações dos fornecedores que atuam nesse mercado emergente. A terminologia é inconsistente, as demonstrações costumam ter escopo restrito e as garantias frequentemente se baseiam na arquitetura, e não em evidências do mundo real. Os compradores acabam tendo que tomar decisões sem uma maneira clara de distinguir controles relevantes de controles superficiais, nem de avaliar a real eficácia da cobertura oferecida.

“As falhas nessa área muitas vezes ocorrem sem nenhum prompt claramente malicioso, surgindo, em vez disso, da forma como conteúdo não confiável é inserido no contexto da IA.”

Em nosso white paper anterior, intitulado Segurança de IA além do modelo, a NSS Labs explicou por que proteger apenas o modelo de IA é insuficiente e por que a segurança da IA nas empresas deve ser tratada como um desafio de governança e de proteção do sistema como um todo. Os verdadeiros desafios de segurança surgem nos sistemas que cercam o modelo — onde os dados são recuperados, as ferramentas são acionadas e as decisões automatizadas são executadas.

Este documento parte dessa base para avançar da compreensão do problema à avaliação de possíveis soluções e ajudar os compradores corporativos a formular perguntas melhores ao selecionar fornecedores de segurança de IA. Em consonância com o documento AI Security Beyond the Model, o foco principal está nas salvaguardas em tempo de execução (os controles externos ao modelo que aplicam políticas, protegem dados e geram evidências de auditoria), reconhecendo que a segurança do modelo e a IA responsável reduzem o risco intrínseco do modelo, mas não conseguem, por si só, gerenciar os riscos das interações no ambiente corporativo. À medida que os sistemas de IA são incorporados aos fluxos de trabalho corporativos, as decisões de segurança se entrelaçam cada vez mais com a governança, a gestão de riscos e a prestação de contas perante os órgãos reguladores. As organizações devem ser capazes de explicar não apenas como os sistemas de IA funcionam, mas também como os riscos são controlados, monitorados e auditados.

As seções a seguir buscam reformular as principais áreas de capacidade em segurança de IA como critérios de avaliação. Em vez de prescrever tecnologias ou arquiteturas específicas, elas se concentram no que os compradores devem ser capazes de compreender, testar e justificar ao selecionar controles de segurança de IA para ambientes de produção.

Estabelecimento de critérios quantitativos de avaliação

Avaliar a segurança da IA exige ir além de alegações qualitativas e adotar uma validação mensurável. Os compradores devem estabelecer expectativas básicas que permitam comparar fornecedores de forma objetiva.

Eficácia da detecção: Os fornecedores devem demonstrar suas capacidades de detecção com base em estruturas e metodologias de teste padronizadas de organizações independentes de testes reconhecidas. As organizações devem exigir taxas de precisão mensuráveis para padrões de ataque conhecidos, e os fornecedores devem divulgar a metodologia de teste, os limites de cobertura e as concessões relacionadas a falsos positivos. A prevenção da exposição de dados sensíveis deve distinguir entre tipos de dados estruturados e informações sensíveis identificadas pelo contexto, mantendo a precisão da detecção consistente entre diferentes modelos fundacionais e níveis de complexidade dos prompts.

Desempenho operacional: Os compradores devem estabelecer limites de latência que equilibrem segurança e usabilidade. Os sistemas devem demonstrar desempenho sob cargas em escala de produção, e não em condições de teste isoladas. As taxas de falsos positivos também importam — o excesso de falsos positivos causa fadiga de alertas e incentiva a adoção de IA não autorizada. Os fornecedores devem ser capazes de fornecer métricas de produção referentes a períodos representativos.

Requisitos de auditoria: A conformidade regulatória depende de registros abrangentes e suficientemente detalhados para permitir a reconstrução de incidentes meses depois. Os eventos devem ser exportados para o SIEM em formatos padronizados, com latência mínima. Os requisitos de retenção variam conforme o setor e o caso de uso.

Alinhamento com frameworks: Os fornecedores devem mapear os controles em relação a frameworks consolidados de organizações independentes de testes reconhecidas. Os compradores devem exigir que os fornecedores demonstrem essas capacidades com conjuntos de testes padronizados e amostras de tráfego de produção. A validação independente por terceiros fornece evidências confiáveis da eficácia dos controles.

Áreas de capacidade essenciais e perguntas que os compradores devem fazer

No nível mais básico, as proteções de segurança dos modelos podem bloquear prompts maliciosos, filtrar conteúdo não permitido e aplicar regras simples de uso. Esses recursos são necessários, mas muitas falhas de alto impacto da IA empresarial não decorrem da falta de regras, e sim da falta de contexto, resiliência e visibilidade.

Por exemplo, um sistema de IA pode cumprir todas as políticas de conteúdo definidas e, ainda assim, divulgar informações confidenciais por meio de agregação, inferência ou combinação inadequada de contextos. Da mesma forma, um sistema pode aplicar corretamente as regras em condições normais, mas falhar de maneira imprevisível sob alta carga, durante indisponibilidades parciais ou em caso de falhas em dependências.

Detecção de ameaças de entrada, controle de instruções e evasão

A maioria dos controles de segurança de IA afirma "filtrar prompts" ou "bloquear entradas maliciosas", mas essa abordagem costuma simplificar demais o problema. Na maioria dos sistemas de IA, o risco não vem apenas do que os usuários inserem diretamente no sistema, mas também de instruções incorporadas ao conteúdo que os sistemas consomem em etapas posteriores. Esse conteúdo pode estar em documentos, páginas da web, chamados, e-mails ou bases de conhecimento e precisa ser confiável o suficiente para ser tratado como um contexto dotado de autoridade.

Autores

Bob Walder - Analista sênior, NSS Labs
lan Foo - Diretor de tecnologia e vice-presidente executivo de produtos, NSS Lab

Colaboradores

Esta pesquisa foi desenvolvida em colaboração com líderes de segurança, nuvem e IA de todo o setor.

Cameron Delano - Arquiteto de soluções sênior, F5
Jeanette Hurr - Arquiteta global de soluções, F5
Riggs Goodman III - Arquiteto principal de soluções, segurança e privacidade de IA, AWS
Raj Bagwe - Arquiteto de soluções sênior, AWS
Zachary Riffle - Arquiteto de segurança, Microsoft

Miniatura do relatório do SecureIQ Lab
RESULTADOS DE TESTES INDEPENDENTES | 19 DE MARÇO DE 2026

Pronto para ver as evidências?

Veja como o F5 AI Guardrails se saiu diante de 20.000 ataques reais realizados pelo laboratório independente SecureIQLab.

Os compradores devem perguntar como um sistema distingue, em tempo de execução, as instruções do sistema, a intenção do desenvolvedor, o conteúdo recuperado e a entrada do usuário. Em arquiteturas que utilizam geração aumentada por recuperação (RAG), essa distinção é fundamental. Se o conteúdo recuperado puder se sobrepor implicitamente às políticas do sistema, o sistema estará vulnerável à injeção indireta de prompt, mesmo que nenhuma consulta explicitamente maliciosa seja enviada.

As empresas devem esperar respostas claras a perguntas como:

  • Até que ponto o sistema é capaz de detectar, avaliar e bloquear solicitações e instruções proibidas pelas políticas?
  • Até que ponto o sistema consegue detectar e impedir tentativas de alterar seu comportamento previsto por meio de prompts de entrada?
  • Até que ponto o sistema lida bem com prompts ambíguos ou limítrofes, cuja intenção não é clara, ao mesmo tempo que minimiza interferências no uso legítimo?
  • Com que eficácia o sistema consegue impedir que instruções incorporadas ao conteúdo enviado influenciem o modelo de maneiras não intencionais?
  • Com que eficácia o sistema consegue lidar com tentativas de contornar os controles por meio de formatação incomum, codificação ou transformações do prompt?
  • Até que ponto o sistema equilibra a segurança com casos de uso legítimos baseados em papéis (por exemplo, simulações de treinamento, testes de equipe vermelha e trabalhos criativos), sem criar maneiras fáceis de contornar os controles?
  • Com que eficácia o sistema impede que usuários (ou conteúdo externo) influenciem ou se sobreponham às instruções do sistema/agente, às regras de roteamento, às restrições de uso de ferramentas ou a outros controles de "prioridade mais alta"?
  • O sistema é capaz de detectar, identificar e regular efetivamente o uso do modelo para evitar uso e custos abusivos ou excessivos (além dos limites estabelecidos pelas políticas)?
  • O sistema é capaz de mostrar, nos logs, qual fonte de instruções prevaleceu quando ocorrem conflitos (sistema vs. desenvolvedor vs. recuperação de informações vs. usuário)?

Na prática, as falhas nessa área costumam ocorrer sem nenhum prompt claramente malicioso e surgem, em vez disso, da forma como conteúdo não confiável é introduzido no contexto da IA. Um invasor pode inserir instruções ocultas em um documento (como um documento de políticas, uma página de wiki interna ou um artigo de suporte ao cliente) que posteriormente é incorporado pelo sistema de IA por meio de um pipeline complexo de recuperação de informações de múltiplas fontes. Quando o modelo recupera esse conteúdo, pode tratar as instruções nele inseridas como orientações legítimas, em vez de dados de entrada não confiáveis. Em ambientes corporativos nos quais muitas pessoas podem editar o conteúdo interno, essa forma de injeção indireta de prompt pode ser particularmente difícil de detectar.

“As falhas nessa área muitas vezes ocorrem sem que haja um prompt claramente malicioso, decorrendo, em vez disso, da forma como conteúdo não confiável é introduzido no contexto da IA.”

Por exemplo, não é necessário, nem necessariamente desejável do ponto de vista de um agente de ameaça, que uma única fonte de informação alterada acione um alerta, impedindo de imediato que danos graves sejam causados. Em vez disso, pequenas alterações em várias fontes de dados podem ser uma estratégia melhor, resultando em mudanças sutis, mas persistentes, no comportamento do sistema ao longo do tempo, como flexibilizar as restrições de resposta, expor fluxos de trabalho internos ou priorizar o contexto controlado pelo invasor em detrimento das políticas do sistema. O resultado final pode ser uma extração de dados confidenciais em maior escala.

Portanto, os compradores devem avaliar se os controles de segurança de IA tratam todo o conteúdo recuperado como potencialmente hostil e se os limites das instruções são aplicados de forma consistente, independentemente da origem das instruções.

Soluções eficazes distinguem com alta precisão as entradas do usuário do conteúdo recuperado. Quando tentativas de sobrepor instruções aparecem nos prompts dos usuários, os sistemas as bloqueiam; quando frases semelhantes aparecem em artigos de suporte legítimos, os sistemas as tratam de forma adequada. A detecção se baseia na intenção semântica, não em palavras-chave, identificando ataques ofuscados por meio de manipulação de codificação ou cenários de interpretação de papéis. Os fornecedores precisam demonstrar a detecção usando a arquitetura RAG real da organização, com recuperação de conteúdo de múltiplas fontes. Os sistemas devem fornecer métricas de produção referentes a períodos representativos, mostrando taxas de detecção, taxas de falsos positivos e latência.

Sinais de alerta incluem: dependência de filtragem genérica de prompts; garantias vagas de que "o modelo cuida disso"; incapacidade de demonstrar a aplicação de limites às instruções em condições adversariais; falta de métricas de produção referentes a períodos significativos; incapacidade de demonstrar a detecção usando a arquitetura RAG interna; e detecção baseada apenas em palavras-chave, sem análise da intenção semântica.

A integridade da entrada não se trata de bloquear linguagem maliciosa, mas de preservar a autoridade das políticas em ambientes dinâmicos e não confiáveis.

Gestão de riscos de saída e exfiltração de dados

As respostas geradas por IA claramente representam um risco significativo, já que um agente não humano pode ter coletado dados de diversos sistemas para formular sua resposta, e essa resposta pode revelar aos usuários externos mais informações do que se pretendia originalmente. Muitas falhas de alto impacto não envolvem conteúdo explicitamente proibido, mas sim a divulgação sutil de informações que não deveriam ter sido reveladas a um determinado usuário, em um determinado contexto e em um determinado momento.

Um invasor ou usuário não autorizado pode fazer uma série de perguntas que parecem inofensivas à primeira vista e que, individualmente, retornam dados permitidos, mas que, em conjunto, permitem inferir ou reconstruir informações confidenciais. Por exemplo, um assistente de IA conectado a sistemas internos de chamados e documentação pode resumir problemas operacionais, funções de funcionários ou configurações de sistemas de maneiras que revelem indiretamente a arquitetura interna ou dados sujeitos a regulamentação. Essas falhas raramente são detectadas por filtros de palavras-chave. Em vez disso, o risco surge da agregação de informações e do contexto. Os compradores devem avaliar se os controles de saída levam em conta a exposição cumulativa e se os sistemas conseguem explicar por que uma resposta foi restringida — um requisito essencial para a governança e a auditabilidade.

Os compradores devem esperar respostas claras a perguntas como:

  • Como os controles de segurança de IA avaliam quais informações estão de fato sendo expostas no contexto, em vez de considerar apenas quais palavras-chave ou frases aparecem na saída?
  • O sistema consegue distinguir entre informações públicas, informações internas e dados sujeitos a regulamentação?
  • Com que eficácia o sistema impede que o modelo revele dados sensíveis nas respostas, mesmo quando a solicitação do usuário parece legítima ou ambígua?
  • Quais tipos de dados sensíveis a proteção abrange (por exemplo, dados pessoais, dados financeiros, informações corporativas confidenciais) e como ela pode ser adaptada à organização
  • Os controles levam em consideração a função do usuário, a jurisdição ou a origem dos dados?
  • O sistema consegue explicar por que uma saída foi bloqueada ou modificada?
  • O sistema consegue aplicar controles tanto às solicitações quanto às respostas, incluindo bloqueio, ocultação de dados e transformação segura, com evidências para auditoria?
  • Quais ações o sistema pode tomar para impedir que o modelo exponha dados sensíveis (bloquear, ocultar, transformar, alertar, exigir revisão/aprovação adicional)?
  • Até que ponto o sistema consegue impedir truques de prompt e estratégias de evasão que tentam enganar o modelo para que divulgue dados indiretamente (por exemplo, solicitando "exemplos", "modelos", "dados de teste" ou "resumos" que contenham informações reais)?
  • O sistema consegue prevenir e detectar vazamentos de dados entre sessões ou entre tenants, garantindo que informações da sessão, do contexto ou das fontes de dados recuperadas de um usuário não apareçam nas respostas de outro usuário?
  • Com que eficácia o sistema impede que o modelo revele prompts de sistema, instruções internas, políticas ocultas ou detalhes de configuração operacional?
  • Com que eficácia o sistema impede a exposição de credenciais ou segredos (por exemplo, chaves de API ou tokens) que possam estar presentes nos dados de treinamento, no contexto do sistema, em logs, em conectores ou no conteúdo recuperado?
  • Com que eficácia o sistema impede que o modelo gere respostas prejudiciais, depreciativas ou fortemente tendenciosas, especialmente em casos extremos em que um usuário tenta provocar o modelo?
  • Até que ponto o sistema consegue impedir que o modelo reproduza literalmente longos trechos protegidos por direitos autorais ou reproduza conteúdo protegido de outras formas?
  • Se o modelo estiver conectado a conteúdos internos da empresa (por exemplo, documentos, wikis ou sistemas de chamados), o sistema consegue impedi-lo de reproduzir materiais internos restritos que o usuário não tem autorização para acessar?
  • Com que eficácia o sistema consegue impedir que o modelo oriente um usuário passo a passo em fluxos de trabalho prejudiciais ou produza artefatos operacionais (por exemplo, scripts, comandos ou código) que possam criar vulnerabilidades de segurança ou causar comportamentos inseguros do sistema?

Quando sistemas de IA são conectados a fontes de dados corporativos em tempo real, esses riscos aumentam significativamente, e podem ocorrer falhas relacionadas às saídas quando os sistemas de IA combinam informações de várias fontes em uma única resposta.

Avaliar os controles de saída exige entender como soluções maduras lidam com a exposição de dados em diferentes contextos. Sistemas sensíveis ao contexto compreendem o significado semântico, não apenas palavras-chave. Isso deve garantir que informações de identificação pessoal (PII) estruturadas sejam bloqueadas, enquanto informações públicas sejam permitidas de acordo com o contexto. A aplicação de controles baseados em funções garante que diferentes usuários recebam respostas distintas para consultas idênticas, conforme seus níveis de autorização. Os sistemas devem detectar a exposição cumulativa entre sessões, nas quais perguntas individualmente inofensivas revelam, em conjunto, informações sensíveis. As decisões de bloqueio precisam incluir referências a políticas específicas, tipos de dados e requisitos de autorização. A integração com as políticas existentes de classificação de dados elimina a duplicação de configurações.

Sinais de alerta incluem: filtragem baseada apenas em palavras-chave; decisões pouco transparentes sobre a aplicação de políticas; incapacidade do sistema de demonstrar a aplicação de políticas com base em funções, por exemplo, quando a mesma consulta retorna o mesmo resultado independentemente do nível de autorização do usuário; incapacidade do fornecedor de explicar em termos compreensíveis por que determinada saída foi bloqueada; e ausência de trilhas de auditoria. As empresas devem buscar evidências de que os controles de saída levam em conta o contexto, a intenção e a responsabilização.

Resiliência, robustez e tratamento de falhas e degradação

As empresas estão acostumadas a avaliar os controles de segurança com base em sua eficácia em condições normais de rede, mas a segurança de IA exige uma mentalidade diferente. Algumas das falhas mais significativas não ocorrem quando os sistemas são atacados diretamente, mas quando são sobrecarregados pelo volume, pela complexidade, por falhas em dependências ou por padrões inesperados de interação.

As principais perguntas a fazer seriam:

  • Até que ponto o sistema mantém a disponibilidade e a capacidade de resposta durante interações com usuários excepcionalmente longas ou complexas (por exemplo, sessões de "maratona")?
  • Os controles são aplicados de forma consistente durante sessões prolongadas ou fluxos de trabalho de agentes com várias etapas?
  • Como o sistema evita o esgotamento de recursos ou a degradação do serviço ao receber uma grande quantidade de entradas repetitivas, malformadas ou sem sentido em um curto período?
  • O que acontece quando os controles de segurança da IA se deterioram?
  • As verificações de políticas excedem o tempo limite? Em caso de falha, a aplicação das políticas permite ou bloqueia o acesso?
  • Como o sistema equilibra segurança e disponibilidade durante falhas de dependências, e esse comportamento é configurável e auditável?

Os sistemas de IA no mundo real operam sob condições variáveis, como picos de uso, indisponibilidade de serviços dos quais dependem, lentidão nos provedores de identidade ou degradação dos serviços de recuperação de informações. Nesses cenários, os componentes responsáveis pela aplicação de controles podem falhar parcialmente, em vez de completamente. Por exemplo, um serviço de avaliação de políticas pode exceder o tempo limite, ou uma etapa de classificação pode ser ignorada para manter a capacidade de resposta. Se essas falhas não forem tratadas com cuidado, os sistemas podem adotar um comportamento permissivo por padrão sem alertar os operadores e, em fluxos de trabalho com agentes de IA, isso pode permitir que ações prossigam sem as verificações adequadas. Não se trata de casos extremos hipotéticos, mas de modos de falha comuns em sistemas distribuídos. Por isso, os compradores devem exigir demonstrações de como os controles de segurança de IA se comportam quando há degradação nas dependências e se os modos de falha são previsíveis, visíveis e compatíveis com a tolerância a riscos da empresa.

“Um sistema resiliente não deve simplesmente bloquear tudo quando algo dá errado, nem permitir comportamentos inseguros sem alertar.”

Um sistema resiliente não deve simplesmente bloquear tudo quando algo dá errado, nem permitir comportamentos inseguros sem qualquer aviso. Em vez disso, deve reduzir sua funcionalidade de forma previsível, comunicar os erros com clareza e continuar oferecendo proteção adequada à medida que as condições se deterioram.

Sistemas bem projetados devem documentar modos de falha explícitos para cada dependência. Quando os serviços excederem o tempo limite de resposta, os sistemas devem lidar com a falha de forma adequada, registrar eventos, alertar as equipes de segurança e exibir mensagens claras aos usuários. Durante os testes de estresse, a precisão da detecção deve permanecer alta, a latência deve se manter dentro de limites aceitáveis e não deve ser possível que solicitações contornem as verificações de segurança. A degradação deve ocorrer de forma previsível, com a emissão de alertas, e não silenciosamente, e os mecanismos de interrupção de circuito (circuit breakers) devem encerrar prontamente os processos fora de controle. Os fornecedores devem ser capazes de descrever as metas de disponibilidade dos mecanismos de aplicação das políticas de segurança e seu comportamento em caso de falha. Quando a aplicação dessas políticas for essencial para a missão, os compradores poderão exigir compromissos contratuais.

Os sinais de alerta incluem: incapacidade de descrever os modos de falha; ausência de testes de estresse ou garantias de que "o sistema nunca falhou na prática"; degradação silenciosa, sem emissão de alertas; ausência de mecanismos de interrupção automática (circuit breakers) para processos fora de controle; incapacidade de demonstrar que a precisão da detecção permanece alta durante os testes de estresse; e sistemas que permitem que solicitações contornem as verificações de segurança durante a degradação.

Eficácia de políticas/filtros e alinhamento com a governança

Controles de segurança de IA que são tecnicamente sofisticados, mas desalinhados com a operação, raramente resistem ao contato com a linha de frente — a área de negócios. Em ambientes corporativos, as decisões sobre políticas geralmente não são binárias nem imutáveis e, em última análise, são decisões de governança.

Os compradores devem perguntar:

  • Como as políticas são definidas, aprovadas, versionadas e auditadas?
  • As políticas podem ter seu escopo definido por função, sensibilidade dos dados, localização geográfica ou contexto de negócios?
  • O sistema consegue explicar por que uma decisão foi tomada?
  • Até que ponto o sistema permite implementar políticas que reflitam a postura de conformidade específica da organização (normas do setor, políticas internas, restrições de uso aceitável), e como essas políticas são mantidas ao longo do tempo?
  • Com que eficácia o sistema ajuda a evitar respostas que possam gerar riscos jurídicos ou de conformidade (por exemplo, conselhos ou orientações que violem regras ou normas aplicáveis)?

As falhas nas políticas muitas vezes não decorrem de más intenções, mas do desalinhamento entre a aplicação técnica e a realidade do negócio. Por exemplo, um sistema de IA pode bloquear corretamente o acesso a determinadas categorias de dados, mas fazer isso de uma maneira que impeça fluxos de trabalho legítimos, levando os usuários a contornar totalmente os controles por meio de ferramentas não autorizadas. Por outro lado, políticas definidas de forma muito vaga podem permitir a exposição de informações sensíveis em contextos que violem obrigações regulatórias ou contratuais. Com o tempo, ajustes pontuais para atender a reclamações podem comprometer a integridade das políticas e a responsabilização. Por isso, os compradores devem avaliar se as plataformas de segurança de IA oferecem suporte a uma governança estruturada de políticas, incluindo aprovações documentadas, histórico de versões e a capacidade de analisar os resultados da aplicação dessas políticas. Sem essa disciplina, a precisão das políticas se torna subjetiva e difícil de defender após um incidente de segurança.

“Controles de segurança de IA tecnicamente sofisticados, mas desalinhados com a realidade operacional, raramente resistem ao dia a dia da linha de frente.”

A aplicação excessivamente rigorosa de controles pode causar transtornos e levar usuários frustrados a implementar sistemas de IA não autorizados, conhecidos como "IA sombra", enquanto uma aplicação insuficiente pode gerar riscos regulatórios e de reputação. Ambas as situações refletem falhas de governança, e não do modelo.

Uma gestão eficaz de políticas deve tratá-las como código, com controle de versão, fluxos de aprovação e trilhas de auditoria. As alterações nas políticas devem exigir aprovações documentadas das partes interessadas das áreas de segurança, jurídica e de negócios antes da implantação em produção. Cada decisão de aplicação de uma política deve ser rastreável à cláusula, à versão, à seção e à lógica de autorização específicas da política. Sempre que possível, o aprimoramento das políticas deve ser orientado por dados de painéis do sistema que forneçam informações como tendências de falsos positivos, bloqueios de alto impacto e, quando possível, recomendações de ajustes.

Os sinais de alerta incluem: falta de transparência na tomada de decisões; ajustes pontuais ou alegações de que as políticas "aprendem sozinhas", sem responsabilização; ausência de controle de versão e de fluxos de aprovação para alterações nas políticas; decisões de aplicação de políticas que não podem ser rastreadas até cláusulas específicas; e conflitos entre políticas sem regras de resolução documentadas.

Miniatura do relatório do SecureIQ Lab
RESULTADOS DE TESTES INDEPENDENTES | 19 DE MARÇO DE 2026

Pronto para ver as evidências?

Veja o desempenho do F5 AI Guardrails diante de 20.000 ataques reais realizados pelo SecureIQLab, um laboratório independente.

IA agêntica, segurança na invocação de ferramentas e autoridade delegada

À medida que os sistemas de IA vão além da assistência passiva e começam a agir em nome de usuários e de outros sistemas, surge uma nova categoria de risco, conhecida como autoridade delegada. Os sistemas de IA agêntica podem acionar outras ferramentas, modificar registros e iniciar fluxos de trabalho complexos em velocidade de máquina.

Os compradores que avaliam a segurança da IA agêntica devem examinar várias áreas-chave de controle:

  • Quais ações o sistema pode realizar de forma autônoma?
  • Como as permissões são limitadas?
  • Até que ponto o sistema garante o cumprimento dos limites do que um agente pode ou não fazer quando recebe autoridade para agir em nome de um usuário?
  • A autonomia pode ser dividida em níveis de acordo com o risco ou o contexto, já que, sem limites claros, pequenos erros podem se propagar rapidamente entre sistemas?
  • Até que ponto os controles do sistema impedem que um prompt o induza a realizar ações fora dos limites previstos (mesmo que o usuário "peça com jeitinho") quando ele é capaz de interagir com ferramentas e agentes externos ou utilizá-los?
  • O sistema previne ou contém de forma eficaz loops recursivos ou comportamentos "fora de controle", em que um agente continua agindo sem atingir o objetivo?
  • Qual é a eficácia do sistema em impedir o uso não autorizado de ferramentas, a escalada de privilégios em APIs/ações, a autonomia excessiva ou loops e o encadeamento inseguro entre ferramentas?
  • Em arquiteturas multiagentes, com que eficácia o sistema impede que dados sensíveis recuperados ou gerados por um agente sejam propagados desnecessariamente para agentes ou ferramentas que executam tarefas relacionadas em etapas posteriores?
  • Em arquiteturas multiagente, é fundamental que a autoridade seja propagada corretamente entre os limites dos sistemas. Com que eficácia o sistema preserva o contexto de identidade ao longo das cadeias de agentes, garantindo que os agentes e as ferramentas subsequentes operem estritamente dentro das permissões do usuário original, e não com privilégios elevados do sistema?

Falhas na delegação de autoridade costumam ocorrer quando sistemas de IA recebem amplo acesso a ferramentas para viabilizar a automação sem as restrições adequadas. Por exemplo, um agente de IA encarregado de resolver problemas de suporte pode ter permissão para consultar bancos de dados, atualizar registros e notificar usuários. Uma instrução mal interpretada ou um contexto inesperado pode resultar em alterações incorretas de dados ou em comunicações prematuras aos clientes. Como essas ações ocorrem em velocidade computacional, os erros podem se propagar antes que a supervisão humana consiga intervir. Em fluxos de trabalho complexos, ações individuais de baixo risco podem se combinar e gerar resultados de alto impacto. Os compradores devem avaliar se os controles de segurança de IA aplicam o princípio do menor privilégio, exigem confirmação para ações sensíveis e oferecem mecanismos para limitar ou revogar a autonomia dinamicamente. Tratar o comportamento dos agentes de IA como uma questão de governança é essencial para evitar uma ampliação silenciosa de autoridade.

“A preservação do contexto de identidade garante que os agentes herdem as permissões do usuário, e não as permissões de nível de sistema.”

Em sistemas bem projetados, esses riscos são mitigados por meio de controles arquiteturais. Sistemas com restrições adequadas aplicam o princípio do menor privilégio a cada ferramenta, com limites de permissão documentados. A autonomia gradual deve exigir confirmação para ações de impacto moderado e aprovação humana para ações de alto impacto, enquanto a preservação do contexto de identidade garante que os agentes herdem as permissões do usuário, e não as permissões de nível de sistema. Quando os usuários solicitam operações sensíveis, os agentes devem recuperar apenas informações autorizadas e bloquear acessos não autorizados. Mecanismos de interrupção precisam encerrar prontamente loops fora de controle, e todas as ações dos agentes devem ser registradas integralmente, incluindo o raciocínio, as verificações de autorização e os resultados.

Esses controles refletem uma distinção importante entre restrições arquiteturais, nas quais o sistema impede tecnicamente que um agente acione determinadas ferramentas ou execute certas ações, e restrições comportamentais, nas quais o agente poderia executar a ação, mas é instruído a não fazê-lo. Os limites críticos para a segurança devem se apoiar em controles arquiteturais sempre que possível, em vez de depender apenas de instruções comportamentais.

Sinais de alerta incluem: Os sinais de uma governança frágil de agentes incluem acesso irrestrito a ferramentas ou dependência exclusiva do alinhamento do modelo para evitar uso indevido; ausência de limites de permissão documentados para cada ferramenta; falha em preservar o contexto de identidade para garantir que os agentes herdem as permissões do usuário; incapacidade de detectar sequências de ações inseguras por meio da análise de cadeias de ações; e registros incompletos das ações dos agentes, sem incluir o raciocínio e as verificações de autorização.

Observabilidade, auditoria e análise forense

Quando algo dá errado em um sistema de IA, é importante poder demonstrar como e por que isso aconteceu e, talvez, até mesmo reproduzir o ocorrido.

Os compradores devem perguntar se as interações com a IA podem ser reconstruídas de ponta a ponta, incluindo entradas, contexto, políticas, saídas, ações, ferramentas acionadas e dados acessados. Sistemas eficazes também devem oferecer monitoramento contínuo e emissão de alertas, permitindo que as equipes de segurança detectem comportamentos anormais, sequências de ações inseguras ou interações inesperadas entre agentes antes que os incidentes se agravem. Sem visibilidade suficiente sobre como o sistema se comporta, a resposta a incidentes passa a se basear em suposições, e os esforços de governança perdem credibilidade.

Quando ocorrem incidentes relacionados à IA, pode-se esperar que as organizações apresentem evidências em vez de explicações. Sem registros detalhados das entradas, do contexto recuperado, das políticas aplicadas, das saídas e das ações, as equipes de resposta a incidentes são obrigadas a reconstruir os eventos com base em suposições, e não em fatos, o que é particularmente problemático em sistemas de IA, nos quais o comportamento pode não ser reproduzível devido ao não determinismo. Por exemplo, um órgão regulador ou auditor interno pode perguntar por que determinadas informações foram divulgadas ou por que uma ação automatizada foi executada, mas, sem observabilidade de ponta a ponta, as organizações não conseguem demonstrar a intenção, a proporcionalidade ou a eficácia dos controles. Por isso, os compradores devem avaliar se as plataformas de segurança de IA oferecem o nível de visibilidade necessário para dar suporte à resposta a incidentes, à elaboração de relatórios de conformidade e ao aprendizado pós-incidente.

O registro abrangente de logs deve permitir a reconstrução de solicitações de ponta a ponta, incluindo o prompt original, o contexto recuperado com as respectivas fontes, o contexto de identidade e autorização, as políticas avaliadas e suas versões, a saída do modelo, as modificações realizadas, a resposta final ao usuário e as ações subsequentes. Os eventos de segurança de IA devem poder ser integrados a sistemas SIEM com latência mínima, permitindo a correlação com o tráfego de rede e os eventos de autenticação. Violações críticas devem disparar alertas prontamente, com contexto suficiente para uma resposta imediata, incluindo painéis unificados para acompanhar métricas de segurança, desempenho e qualidade com análise de tendências.

Da perspectiva de GRC, sistemas que não podem ser observados não podem ser governados.

Integração e interoperabilidade

Controles de segurança de IA que operam isoladamente criam lacunas de visibilidade e impedem uma resposta coordenada. Arquiteturas de defesa em profundidade exigem controles que compartilhem telemetria e coordenem a aplicação de políticas entre as camadas de segurança.

Gerenciamento de identidade e acesso: Os limites de autorização devem abranger desde a autenticação do usuário, passando pela recuperação de dados, até a saída final. As organizações devem avaliar como os sistemas se integram aos provedores de identidade e se as alterações nas funções são propagadas adequadamente. Os sistemas devem manter o contexto de autorização quando agentes de IA atuam em nome dos usuários, com cadeias de permissões rastreáveis; e as políticas de acesso devem ser herdadas dos modelos de RBAC existentes, sem duplicação de configurações. Na camada de recuperação, os sistemas devem aplicar o princípio do menor privilégio, filtrando os documentos com base no nível de autorização do usuário solicitante.

Integração com SIEM: Os eventos de segurança de IA devem ser correlacionados com a telemetria de segurança mais ampla. Para isso, os sistemas devem exportar eventos para plataformas SIEM em formatos padrão, como OCSF ou CEF, com latência mínima. Formatos de log proprietários impedem a correlação com o tráfego de rede, eventos de autenticação e padrões de acesso a dados. As organizações devem verificar se é possível criar regras de detecção personalizadas com base em eventos de segurança de IA e se os alertas se integram aos fluxos de trabalho existentes de resposta a incidentes.

Alinhamento com frameworks de conformidade: As soluções devem mapear os controles aos frameworks estabelecidos, especificando a cobertura dos controles e as evidências de auditoria, e os relatórios de conformidade devem ser personalizáveis para atender a requisitos regulatórios específicos. Alegações genéricas de conformidade sem mapeamentos específicos dos controles são insuficientes.

Suporte a APIs e automação: As operações de segurança modernas exigem controle programático, com sistemas que ofereçam suporte a fluxos de trabalho de políticas como código e à integração com infraestrutura como código. APIs não documentadas ou que mudam com frequência tornam as integrações frágeis.

O que os compradores devem exigir antes de comprar

As empresas devem exigir evidências em vez de diagramas de arquitetura e materiais de marketing sofisticados, resultados reproduzíveis em vez de demonstrações impressionantes e validação independente em vez de meras afirmações dos próprios fornecedores.

Os compradores devem esperar que os fornecedores expliquem as limitações, apoiem testes realistas e forneçam artefatos que resistam a uma análise rigorosa.

Não se deve confiar em controles de segurança que não possam ser testados ou explicados para proteger sistemas de IA essenciais para os negócios.

Preparação para a validação independente

Avaliar a segurança da IA é difícil, mas essa dificuldade não justifica a ausência de validação. Testes independentes continuam sendo uma das poucas formas de as empresas ganharem confiança de que os controles e recursos funcionam conforme o declarado.

Os compradores devem esperar abordagens de validação que reflitam condições reais, incluindo entradas adversariais, cenários de degradação e requisitos de governança. Fornecedores que se recusam a participar de uma validação efetiva demonstram imaturidade, não força.

A validação tampouco deve ser tratada como uma atividade pontual. Os controles de segurança de IA que apresentam bom desempenho na avaliação inicial podem perder eficácia à medida que as ameaças evoluem, as capacidades dos modelos avançam e surgem novas técnicas de ataque. O cenário de ameaças muda rapidamente, e os incidentes de segurança de IA podem envolver métodos de ataque inéditos. Portanto, as organizações devem estabelecer requisitos de validação contínua, além dos testes iniciais.

Integração de inteligência de ameaças: As organizações devem avaliar a frequência com que os fornecedores realizam atualizações para incorporar vulnerabilidades recém-divulgadas por provedores de inteligência de ameaças e organizações de pesquisa em segurança. Os fornecedores devem demonstrar a capacidade de detectar ataques divulgados recentemente, e não apenas aqueles presentes nos dados históricos de treinamento. A ingestão automatizada de inteligência de ameaças permite uma resposta mais rápida do que os processos de análise manual.

Compatibilidade com a evolução dos modelos: Os recursos dos modelos fundacionais evoluem rapidamente, exigindo que os controles de segurança se adaptem. As organizações devem solicitar dados de eficácia de detecção específicos para cada modelo, abrangendo diferentes modelos fundacionais, e ter cautela com alegações genéricas sem evidências quantitativas, que podem ocultar pontos cegos. Os fornecedores devem apresentar cronogramas claros para a certificação de novas versões dos modelos e medidas de mitigação provisórias durante os períodos sem certificação.

Validação conduzida pelo comprador: As organizações devem testar continuamente os controles, em vez de depender exclusivamente da validação do fornecedor. Os compradores devem negociar direitos contratuais para realizar exercícios periódicos de red team, testes automatizados contínuos de evasão dos controles e testes A/B de alterações de políticas em produção. Fornecedores que restringem os testes realizados pelos clientes ou não disponibilizam dados granulares de telemetria demonstram falta de maturidade.

As organizações devem tratar a validação como uma parceria contínua, e não como uma avaliação pontual, para manter a eficácia à medida que o cenário de ameaças evolui. Sem essa prática, até mesmo controles bem projetados podem acabar se mostrando insuficientes contra novas técnicas de ataque.

Conclusão: Das alegações à prestação de contas

Adquirir soluções de segurança de IA não é apenas uma decisão técnica; é uma decisão de governança com consequências de longo prazo.

Empresas que fazem as perguntas difíceis desde o início estão mais bem preparadas para gerenciar riscos, justificar decisões e evitar falhas que poderiam ser prevenidas.

A segurança da IA não terá sucesso com novidades ou abstrações, mas com responsabilização, transparência e avaliação criteriosa.

© 2026 NSS Labs®. Todos os direitos reservados. Nenhuma parte desta publicação pode ser reproduzida, copiada/digitalizada, armazenada em um sistema de recuperação de informações, enviada por e-mail ou de outra forma divulgada ou transmitida sem o consentimento expresso por escrito da NSS Labs ("nós").