O que é um ataque de jailbreak de IA?

Uma exploração maliciosa projetada para contornar as proteções integradas de um sistema de IA, com o objetivo de fazer com que o sistema execute ações ou gere conteúdo que não produziria em circunstâncias normais

Um ataque de jailbreak é uma exploração maliciosa criada para contornar as proteções integradas de um sistema de IA. O objetivo é fazer com que o sistema gere resultados imprecisos ou prejudiciais, ou execute ações não autorizadas. O jailbreak é uma forma de injeção de prompt criada especificamente para contornar os controles de segurança de um modelo, enquanto a injeção de prompt, de modo mais amplo, manipula o comportamento do modelo por meio de instruções maliciosas ou não confiáveis.

Técnicas e vetores comuns de jailbreak

Os invasores usam diversas técnicas e vetores para realizar jailbreaks. Estas são as abordagens mais comuns:

Interpretação de papéis e manipulação de personas: Por meio de um prompt para um modelo de IA, os invasores instruem o modelo a adotar uma persona que ignore as proteções integradas. Por exemplo, invasores já instruíram modelos a adotar a persona “DAN” (“faça qualquer coisa agora”), que pode fornecer respostas sem censura aos prompts. Da mesma forma, a persona “AIM” (“sempre inteligente e maquiavélica”) tem sido usada para fornecer respostas amorais que ultrapassam limites éticos.

Ofuscação e codificação: Essa técnica de jailbreak tenta transformar uma carga maliciosa em um formato capaz de passar despercebido por filtros ou classificadores de segurança baseados em texto. Os invasores têm usado código Base64 em vez de linguagem natural, cifras (que usam algoritmos para deslocar ou substituir o conteúdo normal), caracteres invisíveis e caracteres de outros alfabetos. Essas modificações podem ser decodificadas e lidas pelos modelos, mas não por seus filtros de segurança.

Forçamento de resposta afirmativa: Também conhecida como injeção de prefixo ou conclusão forçada, essa técnica obriga um modelo a iniciar cada resposta com uma afirmação, como “Claro, posso ajudar com isso!”. Depois que o modelo gera essa resposta, sua abordagem probabilística aumenta a probabilidade de ele atender às solicitações seguintes, mesmo àquelas que normalmente seriam recusadas.

Inundação de contexto: Nessa técnica, às vezes chamada de preenchimento de contexto ou saturação da atenção, os invasores incluem uma grande quantidade de texto inofensivo ou dados aleatórios como parte do prompt. Grandes quantidades de contexto adicional podem diluir ou interferir na influência de instruções anteriores, o que pode dificultar que um modelo siga de forma consistente suas restrições de segurança.

A evolução da ameaça

Inicialmente, os principais alvos do jailbreak de IA eram os grandes modelos de linguagem (LLMs), e os resultados prejudiciais se limitavam, em grande parte, a respostas de texto inadequadas. No entanto, à medida que as organizações passaram a adotar cada vez mais agentes de IA para executar diversas tarefas de forma autônoma, os invasores direcionaram seus ataques a esses agentes.

O jailbreak de agentes de IA pode ter consequências graves para as empresas. Agentes que sofreram jailbreak e têm acesso a APIs podem, por exemplo, exfiltrar dados confidenciais, excluir arquivos de bancos de dados, executar transações financeiras fraudulentas, enviar mensagens de phishing a partir de contas corporativas ou provocar falhas em sistemas críticos.

Os invasores estão usando a própria IA para encontrar vulnerabilidades nos agentes que aumentem suas chances de sucesso ao realizar jailbreaks. Por exemplo, eles usam grandes modelos de raciocínio (LRMs) para descobrir vulnerabilidades. Em seguida, podem implantar agentes automatizados de red teaming, viabilizados por esses LRMs, para testar continuamente as vulnerabilidades dos agentes.

Por que a segurança tradicional não é suficiente

As soluções de segurança tradicionais, como os firewalls de aplicações web (WAFs), são insuficientes para impedir jailbreaks de IA por dois motivos principais. Primeiro, os WAFs analisam dados estruturados e códigos em busca de padrões de ameaças conhecidos. No entanto, em ataques de jailbreak, os invasores usam prompts em linguagem natural para induzir modelos e agentes a executar ações. Os WAFs não conseguem interpretar o significado dessa linguagem natural. Além disso, os WAFs inspecionam principalmente o tráfego HTTP das aplicações e não têm visibilidade de todas as fontes de conteúdo que um sistema de IA pode processar.

Como proteger aplicações e agentes de IA

Proteger aplicações e agentes de IA contra jailbreaks exige uma estratégia em várias camadas. Quatro práticas essenciais podem ajudar a construir essa estratégia:

1. Implemente proteções duplas (de entrada e saída): As proteções de entrada podem inspecionar prompts em busca de ofuscação e codificação, além de filtrar tentativas de interpretação de papéis. Já as proteções de saída podem avaliar o conteúdo gerado antes que ele chegue ao usuário e antes que o modelo execute qualquer chamada de API. Essa avaliação pode identificar discurso de ódio, vazamento de dados e chamadas não autorizadas de ferramentas.

2. Implemente modelos sentinela ou de moderação: Em vez de exigir que um modelo avalie a própria segurança, as organizações podem implementar modelos leves de moderação ou do tipo “sentinela”, desenvolvidos para classificação. Ao analisar tanto as entradas quanto as saídas, esses modelos podem identificar tentativas de sequestro em prompts e determinar se o conteúdo gerado viola as políticas corporativas (como as políticas contra discurso de ódio ou assédio).

3. Garanta a fidelidade ao prompt do sistema: A fidelidade ao prompt do sistema é o grau em que os prompts seguem as instruções do sistema sem se desviar delas nem ser substituídos por outras instruções. As organizações podem garantir essa fidelidade por meio de diversas técnicas, como repetir as principais instruções do sistema durante as conversas com os usuários (o que combate a saturação de contexto) e ajustar a hierarquia de instruções, assegurando que o modelo rejeite comandos de usuários para ignorar as instruções do sistema.

4. Empregar acesso a APIs com privilégio mínimo para agentes: Agentes de IA que sofreram jailbreak podem causar danos significativos às empresas, especialmente quando estão conectados a sistemas críticos. As organizações podem limitar os possíveis danos causados pelo jailbreak de agentes empregando acesso a APIs com privilégio mínimo. Os agentes devem ter acesso somente às APIs necessárias para realizar suas tarefas.

Perguntas frequentes

Por que os modelos de IA se recusam a responder a perguntas inofensivas (gerando “falsos positivos”)?

Às vezes, os modelos de IA se recusam a responder a perguntas inofensivas dos usuários. Essas recusas são chamadas de “falsos positivos” ou “recusa excessiva”. O prompt pode conter palavras-gatilho que sinalizam perigo em outros contextos ou uma formulação que sugere uma tentativa de burlar as restrições do modelo (como pedir que ele assuma uma persona). Ou o modelo pode calcular que sua resposta provavelmente levaria a uma solicitação prejudicial, o que seria pior do que se recusar a responder.

Como a interpretação de personagens consegue burlar as barreiras de segurança?

A interpretação de personagens engana as proteções de segurança ao disfarçar intenções maliciosas em um contexto aparentemente inofensivo. Se as proteções considerarem o prompt apenas um exercício criativo, não o classificarão como prejudicial. Enquanto isso, o modelo usará seus recursos para obedecer ao comando de assumir um papel e se concentrará menos em aplicar as regras de segurança.

Qual é a diferença entre um prompt “DAN” e um jailbreak universal?

O infame prompt “DAN” refere-se à técnica de interpretação de papéis que consiste em instruir um modelo a assumir uma persona que ignorará as regras de segurança (“faça qualquer coisa agora”) e simplesmente seguirá as instruções fornecidas pelo usuário. Um ataque de jailbreak universal usa um algoritmo de computador para criar uma sequência de caracteres que, quando adicionada a qualquer prompt, contorna as regras de segurança do modelo.

Quais são os riscos jurídicos e as responsabilidades decorrentes do jailbreak de sistemas de IA?

O jailbreak de sistemas de IA pode gerar diversos riscos e responsabilidades para as organizações que operam esses sistemas. Por exemplo, o jailbreak pode resultar na exposição de dados confidenciais de clientes, na disseminação de informações falsas, em violações de conformidade ou em diversas ações ilícitas realizadas por agentes autônomos. As organizações podem estar sujeitas a multas regulatórias, processos judiciais e até ações penais.

As configurações de segurança da API podem impedir completamente as tentativas de jailbreak?

Não, as configurações de segurança da API não conseguem impedir completamente as tentativas de jailbreak. Os invasores podem contornar os filtros da API usando codificação Base64 ou técnicas semelhantes de ofuscação. Além disso, os filtros da API muitas vezes não conseguem detectar instruções disfarçadas de texto comum. Tentativas indiretas de jailbreak ocultas em conteúdo de terceiros também podem ser particularmente difíceis de detectar e exigem controles adicionais sobre conteúdo externo ou recuperado.

Como proteger sistemas e aplicações de IA durante a inferência e em tempo de execução?

Proteger sistemas de IA durante a inferência e em tempo de execução exige controles que inspecionem prompts, respostas, ações de agentes e o uso de ferramentas à medida que as interações ocorrem. A segurança em tempo de execução específica para IA pode ajudar a bloquear injeções de prompt, evitar o vazamento de dados confidenciais, aplicar políticas e controlar como modelos e agentes interagem com usuários, dados, APIs e ferramentas conectadas.

Quais recursos da F5 oferecem suporte à segurança de IA empresarial?

F5 AI Guardrails ajuda a aplicar políticas em tempo de execução e a proteger contra riscos como injeção de prompts, vazamento de dados, resultados prejudiciais e ações inseguras de agentes. F5 AI Red Team usa testes adversariais para identificar vulnerabilidades e pontos fracos antes que os invasores os encontrem. F5 AI Gateway oferece um ponto de controle centralizado para gerenciar o acesso a modelos, agentes e ferramentas, enquanto F5 Workforce AI Security proporciona visibilidade sobre o uso autorizado e não autorizado de IA em toda a empresa. Juntos, esses recursos fazem parte da F5 AI Security Platform. Para uma proteção mais ampla em aplicações, APIs e ambientes distribuídos, a F5 Application Delivery and Security Platform (ADSP) também reúne recursos que incluem proteção de aplicações web e APIs, gerenciamento de bots, mitigação de DDoS e entrega de aplicações.