Este post do blog é o sexto de uma série sobre mecanismos de proteção para IA.
Nem todos os mecanismos de proteção de IA funcionam da mesma forma. Essa diferença está se tornando cada vez mais difícil de ignorar. À medida que as organizações implementam controles durante a inferência — ou seja, no momento em que um modelo processa um prompt e gera uma resposta —, duas abordagens são frequentemente confundidas.
Uma abordagem se baseia em classificadores treinados para fins específicos e otimizados para velocidade. A outra utiliza controles orientados por LLMs, projetados para analisar intenção, contexto e políticas. Ambas são frequentemente descritas como mecanismos de proteção em tempo de execução, mas se comportam de maneiras muito diferentes em produção. Isso tem gerado uma confusão crescente sobre o que esses mecanismos realmente protegem, quais são suas limitações e por que as métricas de desempenho, por si só, não contam toda a história.
À medida que os sistemas de IA amadurecem após a implantação inicial, as limitações dos classificadores estáticos tornam-se mais evidentes, sobretudo quando se espera que os mecanismos de proteção evoluam em sintonia com o uso no mundo real, as ameaças emergentes e as mudanças nos requisitos de políticas.
“A confusão em torno das proteções de IA não é apenas semântica. Ela influencia a forma como os sistemas de IA são protegidos na prática. As proteções baseadas em aprendizado de máquina e as orientadas por LLMs resolvem problemas diferentes, otimizam diferentes relações de compromisso e falham de maneiras distintas.”
O que queremos dizer com proteções em tempo de execução
Antes de comparar as abordagens, é importante distinguir as proteções no nível do modelo das proteções em tempo de execução.
As proteções de modelo geralmente são aplicadas durante o treinamento ou o alinhamento. Elas influenciam o comportamento esperado de um modelo. As proteções em tempo de execução atuam durante a inferência. Elas inspecionam prompts e respostas em tempo real e aplicam políticas à medida que os sistemas de IA interagem com usuários, agentes, APIs e dados corporativos.
Essa distinção é importante porque a maioria das falhas graves não se manifesta durante o treinamento ou a avaliação comparativa. Injeção de prompts, vazamento indireto de dados, escalonamento de privilégios e evasão de políticas surgem durante interações em tempo real, nas quais os controles precisam tomar decisões continuamente e, muitas vezes, sob condições adversariais.
Onde as proteções baseadas em ML têm bom desempenho
As proteções baseadas em ML, incluindo o que muitos fornecedores chamam de classificadores desenvolvidos para fins específicos, usam aprendizado de máquina (ML) tradicional ou modelos de linguagem pequenos (SLM) treinados com dados rotulados para detectar categorias de risco conhecidas. Elas apresentam bom desempenho quando os padrões são estáveis, as definições são restritas e as decisões precisam ser tomadas com extrema rapidez.
Essas abordagens são valorizadas por sua baixa latência e desempenho previsível, sua eficiência de custos em escala e sua alta precisão na detecção de riscos bem definidos, como categorias conhecidas de toxicidade, formatos comuns de informações de identificação pessoal (PII) ou padrões de injeção de prompt baseados em assinaturas.
Classificadores desenvolvidos para finalidades específicas podem ser altamente eficazes dentro do escopo a que se destinam. Quando mantidos atualizados, eles oferecem proteção confiável contra ameaças recorrentes e bem compreendidas. Assim como na segurança tradicional, esses controles continuam sendo uma parte necessária de uma estratégia de defesa em camadas.
Mecanismos de proteção baseados em ML têm dificuldades quando o contexto é importante
Os sistemas de IA generativa operam em condições para as quais os classificadores tradicionais nunca foram projetados. Os prompts são abertos. Os ataques se adaptam. As violações muitas vezes são indiretas e podem se tornar evidentes somente após vários turnos ou interações.
Essas limitações são estruturais. Classificadores desenvolvidos para fins específicos dependem de exemplos anteriores e têm dificuldade com casos extremos, como novas formulações, ofuscação ou encadeamento de prompts. Modelos de aprendizado de máquina conseguem detectar padrões, mas não raciocinam sobre intenção, função ou nuances de políticas. Ampliar a cobertura geralmente exige novo treinamento ou nova rotulagem, o que gera atrasos à medida que as ameaças evoluem. Traduzir políticas empresariais, jurídicas ou regulatórias complexas em rótulos fixos costuma ser inviável.
Essas limitações tornam-se especialmente evidentes após a implantação inicial. As proteções baseadas em aprendizado de máquina funcionam melhor quando os riscos seguem padrões estáticos e as políticas mudam lentamente. Os sistemas de IA generativa não operam nessas condições. À medida que prompts, usuários, agentes e integrações evoluem, os controles precisam se adaptar sem retreinamento constante nem ampliação manual das regras. É nesse ponto que as abordagens baseadas exclusivamente em aprendizado de máquina deixam a desejar, não por falta de valor, mas porque não foram projetadas para oferecer uma aplicação contínua e adaptativa das políticas ao longo do tempo.
Por que as proteções orientadas por LLMs mudam o cenário
As proteções orientadas por LLM usam grandes modelos de linguagem para avaliar prompts e respostas dentro do contexto. Em vez de verificar se uma interação corresponde a um padrão conhecido, elas avaliam se há violação das políticas considerando a intenção, o caso de uso, os dados envolvidos e o histórico das interações relacionadas.
Isso viabiliza recursos que os classificadores, por si só, têm dificuldade de oferecer.
As proteções baseadas em LLMs conseguem interpretar solicitações indiretas, ataques em várias etapas e intenções ofuscadas. Isso é fundamental para detectar técnicas modernas de injeção de prompts e jailbreak que burlam a detecção baseada em padrões.
Elas também permitem avaliar interações com base em políticas expressas em linguagem natural. No entanto, nem todas as implementações baseadas em LLMs oferecem uma personalização efetiva. Muitas dependem de políticas fixas definidas pelo fornecedor, aplicadas de maneira uniforme a diferentes casos de uso.
As proteções personalizáveis orientadas por LLM permitem que as organizações definam, ajustem e apliquem políticas sob medida em tempo de execução. Essas políticas podem ser alinhadas a aplicações específicas, à sensibilidade dos dados, às funções dos usuários e à tolerância a riscos. Essa distinção é fundamental em ambientes corporativos, nos quais o mesmo modelo pode dar suporte a pesquisas internas, fluxos de trabalho voltados para clientes e processos regulamentados, cada um com diferentes requisitos de aplicação das políticas.
Como as proteções orientadas por LLM raciocinam em vez de apenas classificar, elas se adaptam com mais eficácia a novas técnicas de ataque. Quando combinadas com dados de testes adversariais continuamente atualizados, as defesas evoluem junto com o comportamento das ameaças no mundo real, em vez de ficarem para trás.
No entanto, por si só, as proteções orientadas por LLMs não garantem aplicação contínua, personalização nem resiliência operacional. Esses recursos dependem de como o raciocínio baseado em LLMs é integrado a uma estrutura mais ampla de controle em tempo de execução.
Por que as proteções de IA generativa são importantes após o primeiro dia
As proteções orientadas por LLMs introduzem a capacidade de compreender a intenção e o contexto. As proteções de IA generativa ampliam essa capacidade, transformando-a em um plano de controle em tempo de execução projetado para operar, adaptar-se e aplicar políticas em sistemas de IA generativa muito depois da implantação inicial. Essa distinção é importante porque apenas a capacidade de raciocínio não é suficiente quando os sistemas de IA são expostos a usuários reais, dados reais e comportamentos adversariais reais.
As implantações iniciais de IA muitas vezes podem ser protegidas com controles estáticos e detecção de padrões conhecidos. Essas abordagens podem ser eficazes durante a fase inicial de implementação, quando o uso é restrito e os riscos são relativamente previsíveis. Com o tempo, os sistemas de IA generativa evoluem, os prompts mudam, novos agentes são introduzidos, as integrações se expandem, as técnicas de ataque se adaptam e as políticas são ajustadas em resposta a requisitos regulatórios, empresariais ou operacionais.
Nesse estágio, muitas vezes chamado de operações do segundo dia, as proteções precisam ir além da detecção de violações conhecidas. Elas devem interpretar continuamente as intenções, adaptar-se a novas formas de exploração e aplicar políticas que reflitam como a IA está sendo efetivamente usada em produção. Isso exige controles em tempo de execução capazes de evoluir sem retreinamento constante, novas implantações ou ampliação manual de regras.
As proteções de IA generativa foram desenvolvidas para essa realidade. Elas aplicam raciocínio baseado em LLMs em uma estrutura operacional que oferece suporte à personalização, à aplicação contínua e à evolução de políticas em modelos, agentes, usuários e fluxos de dados. Em vez de substituir os controles existentes, elas complementam as proteções orientadas por aprendizado de máquina, proporcionando a flexibilidade e a compreensão semântica necessárias para manter a segurança à medida que os sistemas de IA generativa amadurecem.
O papel das defesas híbridas
As estratégias mais eficazes de segurança em tempo de execução não escolhem entre mecanismos de proteção de ML e de LLM. Elas combinam ambos por meio de mecanismos de proteção para IA generativa que aplicam raciocínio em uma camada consistente de imposição de políticas em tempo de execução.
Classificadores desenvolvidos para fins específicos bloqueiam com eficiência ameaças conhecidas e recorrentes. O raciocínio orientado por LLMs lida com ambiguidades, novidades e nuances das políticas. Juntos, eles formam uma abordagem de defesa em profundidade alinhada a práticas de segurança consolidadas. A diferença na IA generativa é que o uso no Dia Dois é a regra, e não a exceção. Controles que não conseguem se adaptar ao longo do tempo inevitavelmente perderão eficácia.
A clareza é importante durante a execução
A confusão em torno dos mecanismos de proteção de IA não é apenas semântica. Ela influencia a forma como os sistemas de IA são protegidos na prática. Mecanismos de proteção baseados em ML e mecanismos orientados por LLMs resolvem problemas diferentes, otimizam diferentes relações de compromisso e falham de maneiras distintas.
Velocidade e custo continuam sendo considerações importantes, mas não são suficientes por si só. Uma proteção eficaz em tempo de execução depende do contexto, da capacidade de adaptação e da aplicação de políticas que reflitam casos de uso reais à medida que evoluem. Guardrails baseados em ML, incluindo classificadores desenvolvidos para finalidades específicas, desempenham um papel importante, mas, isoladamente, não conseguem atender às demandas contínuas da IA generativa em produção.
A segurança contínua durante a inferência exige mecanismos de proteção para IA generativa que transformem o raciocínio baseado em LLMs em controles adaptáveis e aplicáveis em tempo de execução para as operações do segundo dia em diante, quando os riscos reais surgem e as defesas estáticas já não são suficientes.
Saiba como o F5 AI Guardrails oferece suporte à aplicação de controles em tempo de execução em diferentes modelos, agentes e casos de uso.
Além disso, não deixe de conferir estas publicações anteriores da nossa série no blog:
IA responsável: Guardrails alinham a inovação à ética
O que são proteções de IA? Ampliando a segurança para além dos provedores de modelos fundacionais
Privacidade de dados em IA: Guardrails que protegem dados confidenciais
Por que sua política, governança e proteções de IA não podem esperar
Gestão de riscos de IA: como as proteções podem ajudar a mitigá-los
Sobre o autor
Publicações relacionadas no blog
IA agêntica em cibersegurança: promessas e riscos
Saiba por que o uso de IA agêntica na cibersegurança é essencial para combater ameaças impulsionadas por IA e por que os agentes também criam novos riscos para as empresas.
Como os clientes da F5 no setor financeiro lidam com a soberania digital sem desacelerar a inovação
Como é a soberania digital na prática? Dois projetos recentes da F5 com clientes mostram como diferentes empresas estão enfrentando esses desafios.
Soberania operacional: construindo resiliência em um mundo imprevisível
Para muitas organizações, a questão já não se resume apenas a controlar os dados. Trata-se de manter a capacidade de operar, adaptar-se e se recuperar à medida que as leis e as condições evoluem.
Segurança de IA com evidências: o que levaremos ao Gartner SRM
Antes de sua sessão no Gartner SRM, o vice-presidente sênior de Marketing de Produtos da F5 explica como a F5 ajuda as organizações a proteger a IA em três etapas práticas.
Gestão de riscos de IA: como as proteções podem ajudar a mitigá-los
O risco da IA é impulsionado por comportamentos probabilísticos e pela explicabilidade limitada, não apenas por falhas de segurança. Uma gestão eficaz exige controle operacional contínuo.
Lei de IA do Colorado (SB 205): o que as empresas precisam saber antes de 2026
A SB 205 do Colorado, a lei pioneira do estado sobre inteligência artificial, foi sancionada pelo governador Jared Polis em 17 de maio de 2024. O projeto de lei estabelece requisitos para que as empresas que utilizam IA implementem controles destinados a proteger os cidadãos do Colorado.