Como bots atacam grandes modelos de linguagem: o Top 10 da OWASP para LLMs

Jim Downey

Bots e IA estão intimamente ligados há muito tempo. Os primeiros testes CAPTCHA, criados para impedir bots, foram concebidos como problemas fáceis de resolver para humanos, mas difíceis para a IA — uma distinção que remonta a uma publicação de Alan Turing de 1950 sobre inteligência computacional. Mais recentemente, empresas de segurança, incluindo a F5, têm usado IA para detectar bots, ao mesmo tempo que os criadores de bots aplicam IA para evitar a detecção e resolver desafios CAPTCHA. Com a IA generativa, as conexões entre bots e IA continuam evoluindo, com bots extraindo conteúdo da Internet para alimentar grandes modelos de linguagem (LLMs) e agentes de IA — essencialmente bots inteligentes — interagindo com aplicativos de maneiras não previstas. Também vemos essa estreita interligação entre bots e IA ao analisarmos os 10 principais riscos e medidas de mitigação de 2025 para LLMs e aplicativos de IA generativa.

Os bots certamente não são o único meio de explorar vulnerabilidades de LLMs. Segurança de LLMs é uma área complexa e em rápida evolução na cibersegurança, e não quero simplificar o desafio atribuindo-lhe uma única causa ou solução. Ainda assim, sabemos que os agentes mal-intencionados quase sempre usam bots, de uma forma ou de outra, para ampliar a escala dos ataques cibernéticos e, portanto, mitigar bots elimina uma ferramenta importante do arsenal dos cibercriminosos. Para entender por que a mitigação de bots é tão relevante para a segurança de LLMs quanto para a segurança da Web, de dispositivos móveis e de APIs, vamos analisar os 10 principais riscos de segurança da OWASP para LLMs em 2025 e considerar como um agente mal-intencionado poderia usar bots para explorar cada vulnerabilidade.

1. Injeção de prompt

Um ataque de injeção de prompt busca alterar o comportamento dos LLMs de forma maliciosa, o que, segundo a OWASP, pode fazer com que os modelos “violem diretrizes, gerem conteúdo prejudicial, permitam acesso não autorizado ou influenciem decisões críticas”. Para afetar o comportamento dos modelos por meio de prompts, talvez seja necessário que o invasor injete muitos prompts, inundando o modelo com prompts maliciosos para maximizar os danos ou encontrar um prompt que produza o resultado desejado. Para inserir uma quantidade suficientemente grande de prompts maliciosos, os invasores precisarão de bots para automatizar o processo.

2. Divulgação de informações confidenciais

Na corrida para desenvolver LLMs que agreguem valor aos negócios para funcionários e clientes, as organizações treinarão modelos usando vastos repositórios de dados próprios. No entanto, esses repositórios podem conter informações confidenciais, incluindo dados pessoais e segredos comerciais. É quase certo que agentes mal-intencionados testarão esses modelos na esperança de revelar esses dados confidenciais. E, como talvez não saibam exatamente quais dados estão procurando nem como formular um prompt específico para obtê-los, eles podem adotar uma abordagem de força bruta, enviando muitos prompts na esperança de que um deles revele informações confidenciais valiosas. Para enviar um grande número de prompts aos modelos, agentes mal-intencionados que buscam ampliar a escala de seus ataques usarão bots.

3. Cadeia de suprimentos

Como qualquer sistema de informação, os LLMs têm dependências, incluindo dados de treinamento, modelos de base e plataformas de implantação, o que significa que agentes mal-intencionados podem comprometer um LLM ao comprometer sua cadeia de suprimentos. Para comprometer essas dependências, os agentes mal-intencionados provavelmente usarão bots para manipular repositórios de dados com informações falsas, violar sistemas de autenticação por meio de preenchimento de credenciais ou proxies de phishing em tempo real e procurar vulnerabilidades de autorização.

4. Envenenamento de dados e modelos

No envenenamento de dados, os agentes mal-intencionados manipulam dados de pré-treinamento, ajuste fino ou incorporação para introduzir vulnerabilidades, backdoors ou vieses. Segundo a OWASP, “essa manipulação pode comprometer a segurança, o desempenho ou o comportamento ético do modelo, resultando em saídas prejudiciais ou capacidades comprometidas”. Embora existam muitos métodos que os agentes mal-intencionados podem usar para manipular dados, os bots são uma ferramenta comum em diversos tipos de ataque, desde a violação de mecanismos de autenticação ou autorização até a inserção de dados falsos em repositórios de dados por meio de aplicações que não contam com proteção contra bots.

5. Tratamento inadequado da saída

O tratamento inadequado da saída refere-se à falha em verificar se a saída de um modelo de LLM pode prejudicar um sistema que depende dela. Enquanto as vulnerabilidades da cadeia de suprimentos e de envenenamento de dados e modelos dizem respeito ao comprometimento de sistemas anteriores ao modelo de LLM, o tratamento inadequado da saída afeta os sistemas posteriores, ou seja, aqueles que dependem da saída do modelo de LLM. De acordo com a OWASP, “a exploração bem-sucedida de uma vulnerabilidade de tratamento inadequado da saída pode resultar em cross-site scripting (XSS) e falsificação de solicitação entre sites (CSRF) em navegadores da Web, bem como falsificação de solicitação do lado do servidor (SSRF), escalonamento de privilégios ou execução remota de código em sistemas de back-end.”

Em outras palavras, o adversário usa o LLM para atacar outro aplicativo que depende da saída do LLM. Embora um invasor possa explorar essa vulnerabilidade por meio de entradas cuidadosamente elaboradas para um aplicativo, ele também pode tentar realizar o ataque por força bruta usando automação, testando diversas variações para descobrir uma entrada que gere uma saída capaz de prejudicar um aplicativo subsequente. A automação tentará forçar o modelo a produzir uma saída maliciosa e verificar se ela causou o efeito nocivo desejado no aplicativo. Para realizar esse tipo de sondagem em larga escala, serão necessários bots.

6. Autonomia excessiva

Agência excessiva é uma forma de escalonamento de privilégios realizada por meio de um sistema baseado em LLM. A vulnerabilidade decorre da execução de um sistema baseado em LLM com privilégios elevados, o que permite que ele chame funções ou interaja com outros sistemas. O adversário, sem saber onde o sistema baseado em LLM possui privilégios elevados nem como explorar esse escalonamento, provavelmente usará automação para inserir vários prompts, na esperança de acionar e explorar um escalonamento de privilégios.

7. Vazamento do prompt do sistema

Aplicações baseadas em LLMs geralmente fornecem ao LLM instruções de prompt do sistema que orientam o comportamento do modelo para atender aos requisitos da aplicação. Na prática, os prompts do sistema podem conter informações confidenciais: strings de conexão com bancos de dados, código proprietário, propriedade intelectual ou outros conteúdos que as empresas devem manter protegidos. Vazamento de prompt do sistema é, portanto, uma forma específica de injeção de prompt que faz com que uma aplicação revele inadvertidamente suas instruções de sistema.

Fazer com que um LLM exponha esses segredos por meio de prompts não é uma tarefa trivial, e é quase certo que agentes mal-intencionados desenvolverão scripts automatizados para investigar com mais eficácia dados confidenciais incorporados aos prompts de sistema.

8. Vulnerabilidades de vetores e embeddings

As aplicações de LLM frequentemente aprimoram a saída do modelo por meio de um contexto enriquecido, fornecido aos modelos por uma técnica conhecida como geração aumentada por recuperação (RAG). O conteúdo fornecido aos LLMs via RAG não é texto bruto, mas sim vetores pré-processados com metadados e conteúdo incorporados. De acordo com a OWASP, “vulnerabilidades na forma como vetores e embeddings são gerados, armazenados ou recuperados podem ser exploradas por ações maliciosas (intencionais ou não) para injetar conteúdo prejudicial, manipular as saídas do modelo ou acessar informações confidenciais”. Em outras palavras, os adversários podem atacar o conteúdo da RAG e seu processamento para comprometer o sistema de LLM.

As empresas implementam seus próprios processos e definem o escopo do conteúdo de RAG para atender às necessidades específicas de sua organização, o que significa que o conteúdo e suas falhas serão exclusivos de cada organização. Do ponto de vista do adversário, descobrir essas falhas não será fácil e certamente exigirá uma exploração automatizada, ou seja, o uso de bots.

9. Desinformação

Quando os LLMs produzem informações falsas ou enganosas, os sistemas que dependem dessas informações podem apresentar falhas, resultando em violações de segurança, danos à reputação e responsabilidade jurídica. Os LLMs podem produzir desinformação por meio de alucinações ou devido a vieses e lacunas nos dados de treinamento.

Os agentes mal-intencionados que buscam explorar alucinações provavelmente automatizarão a criação de prompts e a análise das respostas. Por exemplo, ao automatizar o processo de geração de código — ou seja, usando um LLM para gerar várias instâncias de código de computador —, eles podem encontrar referências a bibliotecas de software que não existem de fato. Em seguida, podem criar uma biblioteca de software maliciosa no repositório de código que o LLM tiver inventado. Se o código gerado pelo LLM não for devidamente revisado, a biblioteca maliciosa será incorporada ao produto lançado.

Da mesma forma, agentes mal-intencionados podem usar bots para manipular os dados de treinamento, inserindo intencionalmente grandes volumes de dados destinados a introduzir vieses no modelo.

10. Consumo ilimitado

A décima vulnerabilidade de LLM da OWASP, consumo ilimitado, é muito semelhante à vulnerabilidade de API da OWASP denominada consumo irrestrito de recursos, bem como à ameaça automatizada da OWASP chamada negação de serviço. O adversário excede o número esperado de solicitações a tal ponto que o serviço de inferência sofre uma negação de serviço, degradação de desempenho e custos excessivos. Segundo a OWASP, “as altas demandas computacionais dos LLMs, especialmente em ambientes de nuvem, tornam esses modelos vulneráveis à exploração de recursos e ao uso não autorizado”. Para exceder o uso esperado, os adversários quase certamente usarão bots para aumentar o volume de solicitações.

Implementação de proteções contra bots

Como muitas organizações enfrentam pressão para lançar rapidamente recursos de IA no mercado e as implicações de segurança dos LLMs ainda não são totalmente compreendidas, elas devem considerar a implementação de proteções contra bots tanto nas aplicações baseadas em LLMs quanto nas aplicações que fornecem dados aos modelos de LLM. Quanto mais ataques os adversários puderem lançar, maiores serão suas chances de sucesso. A F5 oferece um serviço de proteção contra bots particularmente eficaz, F5 Distributed Cloud Bot Defense, desenvolvido com IA, que ajuda as organizações a obter vantagem sobre adversários que usam bots e automação para atacar aplicações de LLM.

Saiba mais sobre o Distributed Cloud Bot Defense.

Sobre o autor

Jim Downey

Mais publicações de Jim Downey