O que é segurança de LLM?
A segurança de modelos de linguagem de grande escala (LLMs) refere-se às políticas, aos controles e às tecnologias usados para proteger modelos fundacionais, os dados subjacentes de treinamento e inferência e as aplicações empresariais que dependem deles. A segurança de modelos de linguagem de grande escala abrange todo o ciclo de vida, desde a forma como os modelos são treinados e ajustados até como processam entradas e geram saídas em produção.
Entendendo a segurança de LLMs
Os LLMs respondem a entradas de linguagem natural não estruturadas e geram resultados que podem variar mesmo para o mesmo prompt; essa propriedade é conhecida como não determinismo. Essa característica não determinística torna a segurança dos LLMs uma preocupação crítica para organizações que lidam com dados confidenciais, atuam em setores regulamentados ou dependem de automação baseada em IA. Sem as devidas proteções, as aplicações de LLM podem expor as empresas a vazamentos de dados, falhas de conformidade, perda de propriedade intelectual e novas técnicas de ataque, como a injeção de prompts.
As empresas estão adotando LLMs em um ritmo sem precedentes para lidar diretamente com dados confidenciais de clientes, redigir comunicações de marca destinadas ao público externo e muito mais. Sem os controles adequados, os LLMs podem ser explorados por meio de ataques baseados em linguagem, vazar informações proprietárias ou gerar resultados inseguros que causem danos operacionais ou à reputação. As empresas estão colocando em produção ferramentas integradas, desenvolvidas com base em modelos fundamentais, mais rapidamente do que implementam controles para essas ferramentas. Além disso, o avanço da IA agêntica, que executa ações, chamadas de ferramentas e comunicações sem orientação humana explícita, introduziu um novo perfil de risco mais elevado.
Por que a segurança de LLMs é importante?
A segurança é fundamental porque os LLMs influenciam decisões, automatizam tarefas e interagem diretamente com os usuários. A segurança de aplicações de LLM trata os modelos como componentes de alto risco. Protegê-los exige avaliações contínuas, em vez de testes pontuais; as equipes precisam garantir que os modelos se comportem de forma segura e previsível à medida que seu uso evolui. Regulamentações emergentes, como o Regulamento de Inteligência Artificial da União Europeia, exigem que as organizações implementem gestão de riscos, registro de atividades e supervisão humana em sistemas de IA, tornando a segurança de LLMs um requisito de conformidade, e não apenas uma boa prática técnica.
Além de medidas adicionais de governança, como monitoramento, auditoria e supervisão humana, a segurança de LLMs abrange quatro áreas principais:
- Proteção dos dados de treinamento e inferência
- Preservação da integridade do modelo
- Controle de entradas e saídas
- Proteção de ambientes de implantação e APIs
Proteção de dados de treinamento e inferência
Envenenamento de dados de treinamento e pipelines seguros
Os LLMs aprendem com vastos conjuntos de dados e componentes de terceiros. Se os dados de treinamento ou ajuste fino forem alterados de forma maliciosa, os modelos poderão aprender comportamentos tendenciosos, backdoors ocultos ou respostas inseguras. Os dados de treinamento e ajuste fino moldam diretamente o comportamento do modelo. O uso de conjuntos de dados não verificados ou mal gerenciados aumenta o risco de envenenamento de dados, vieses e memorização não intencional de informações confidenciais.
As práticas recomendadas incluem obter dados de repositórios confiáveis, manter o controle de versões, documentar a linhagem dos dados e auditar as alterações ao longo do tempo. Uma governança de dados robusta contribui tanto para a segurança dos LLMs quanto para a conformidade regulatória. Garantir a segurança dos modelos de linguagem de grande porte significa validar as fontes de dados, manter a proveniência e avaliar continuamente as dependências do modelo.
Divulgação de informações confidenciais e vazamento de dados
Os LLMs podem revelar involuntariamente informações confidenciais ou proprietárias assimiladas durante o treinamento ou fornecidas por meio de prompts e janelas de contexto, incluindo informações de identificação pessoal (PII), credenciais ou dados comerciais confidenciais. Evitar o vazamento de dados é fundamental para a segurança dos LLMs, especialmente em ambientes regulamentados, nos quais violações de conformidade acarretam consequências graves.
Preservando a integridade do modelo
Segurança da cadeia de suprimentos, componentes confiáveis e SBOM
As aplicações de LLM geralmente dependem de modelos de terceiros, bibliotecas de código aberto, plugins e APIs externas. Cada dependência aumenta os possíveis riscos à cadeia de suprimentos. Modelos de código aberto ou plugins comprometidos também representam riscos à cadeia de suprimentos. Cada componente externo utilizado é mais um possível ponto de entrada para agentes mal-intencionados.
Manter um inventário de componentes por meio de uma lista de materiais de software (SBOM), realizar análises de segurança regularmente e monitorar vulnerabilidades ajuda as organizações a reduzir a exposição a dependências comprometidas ou desatualizadas.
Controle de entradas e saídas: injeção direta e indireta de prompts
Ataques de injeção direta de prompt envolvem invasores que criam explicitamente uma entrada destinada a substituir as instruções do sistema ou manipular o comportamento de um modelo por meio de prompts do usuário.
A injeção indireta de prompts ocorre quando um invasor insere instruções maliciosas em conteúdos externos, como documentos ou páginas da web. Os LLMs são projetados para seguir instruções, e a injeção de prompts explora diretamente essa característica ao introduzir no sistema de entrada instruções difíceis de distinguir. Como os LLMs priorizam a compreensão da linguagem, a injeção de prompts pode contornar mecanismos de proteção, expor dados confidenciais ou desencadear ações não intencionais.
Para mitigar esse risco, todas as entradas fornecidas aos LLMs, incluindo prompts de usuários, documentos recuperados, contexto do sistema e metadados, devem ser cuidadosamente restringidas e sanitizadas. O controle da superfície de entrada reduz a exposição à injeção de prompts, a ataques indiretos de injeção de prompts e a instruções maliciosas incorporadas a conteúdos externos. As práticas geralmente recomendadas incluem permitir apenas fontes de dados confiáveis, remover instruções ocultas ou não imprimíveis, limitar o tamanho e a complexidade dos prompts e isolar as entradas dos usuários dos prompts do sistema.
Tratamento e validação inseguros de saídas
Tratamento inseguro de saídas ocorre quando os aplicativos executam ou exibem diretamente as saídas do modelo sem validação ou sanitização. Se um modelo gerar código malicioso, comandos indevidos ou conteúdo enganoso, e o aplicativo executar esse conteúdo sem qualquer verificação, as organizações poderão sofrer ataques de XSS (cross-site scripting), execução de comandos não autorizados no sistema ou ações de usuários baseadas em informações falsas.
Nunca se deve confiar cegamente nas saídas de LLMs. Textos, códigos, consultas ou comandos gerados devem ser validados antes de serem executados, armazenados ou exibidos aos usuários. As empresas devem aplicar filtragem de conteúdo, validação de esquemas e verificações sensíveis ao contexto para garantir que as saídas atendam aos requisitos de segurança e às políticas estabelecidas.
Supervisão, verificações de resultados e limites de confiança
Apesar dos avanços na IA, o julgamento humano continua sendo essencial. A dependência excessiva dos resultados gerados por LLMs pode aumentar a ocorrência de erros, informações inventadas ou decisões inseguras. As empresas devem exigir revisões com participação humana em casos de uso sensíveis, oferecer treinamento sobre o uso adequado de LLMs e definir claramente em quais situações as pessoas devem validar decisões automatizadas.
Proteção de ambientes de implantação e APIs
Autonomia, dependência excessiva e uso do princípio do menor privilégio
Conceder independência excessiva aos LLMs, como a capacidade de acionar fluxos de trabalho ou tomar decisões sem supervisão, aumenta o risco de erros e uso indevido. A independência dos LLMs sem a participação humana pode desencadear uma série de consequências não intencionais no mundo real. Tanto a autonomia dos LLMs quanto a dependência excessiva deles são ampliadas pela IA agêntica. Nesses casos, invasores podem usar LLMs indevidamente para phishing, engenharia social ou código malicioso, agravando as ameaças.
Para se proteger contra isso, agentes de LLM e plugins devem operar de acordo com o princípio do menor privilégio. Os modelos devem ter acesso apenas aos dados, às ferramentas e às ações necessárias para desempenhar a função a que se destinam. Operações de alto risco, como executar código, modificar registros ou iniciar transações, devem exigir aprovação explícita ou validação adicional definida e aplicada pela infraestrutura.
Ataques de negação de serviço (DoS), esgotamento de recursos e roubo de modelos
Os endpoints de LLM são ativos caros e que consomem muitos recursos. Os invasores podem explorá-los enviando grandes volumes de prompts, sobrecarregando-os com tráfego e aumentando os custos. Controles de acesso fracos também podem permitir o roubo ou a replicação não autorizada de modelos. Sem controles e limites de acesso estruturados e robustos, um invasor pode consultar um modelo e replicar seu comportamento sem acessar o backend. Em ataques de negação de carteira, agentes mal-intencionados inundam os endpoints com consultas que consomem muitos tokens para esgotar rapidamente o orçamento de nuvem ou de API de uma organização sem derrubar o serviço de IA.
Monitoramento, registro de logs e resposta a incidentes
O monitoramento contínuo de prompts, resultados, padrões de uso e desempenho permite detectar precocemente abusos, anomalias ou ameaças emergentes. O registro de logs auxilia na análise forense e no cumprimento dos requisitos de conformidade. Regulamentações como a Lei de IA da UE exigem rastreabilidade e análise pós-incidente para determinados sistemas de IA, tornando o registro de logs e o monitoramento essenciais tanto para a conformidade quanto para a segurança. As organizações também devem estabelecer procedimentos de resposta a incidentes específicos para eventos relacionados a LLMs, garantindo rápida contenção e correção quando surgirem problemas.
Principais riscos de segurança e vulnerabilidades de LLMs
Grandes modelos de linguagem e suas aplicações apresentam um perfil de risco muito diferente do das aplicações tradicionais. O OWASP Top 10 para aplicações de LLM concentra-se em riscos específicos de IA, como injeção de prompts, tratamento inseguro de saídas, envenenamento de dados de treinamento, divulgação de informações confidenciais, autonomia excessiva e negação de serviço do modelo. Ao contrário do OWASP Top 10 tradicional, que se concentra em vulnerabilidades de aplicações web, como falhas no controle de acesso e falhas de injeção, a versão para LLM aborda riscos gerados por entradas em linguagem natural, pelo comportamento do modelo, por ferramentas externas e pela autonomia da IA. Essas ameaças incluem injeção de prompts, tratamento inseguro de saídas, envenenamento de dados de treinamento, divulgação de informações confidenciais, autonomia excessiva do modelo e negação de serviço por esgotamento de recursos. A estrutura destaca os LLMs como componentes de alto impacto que exigem governança específica, monitoramento contínuo e proteções em várias camadas, alinhadas aos padrões modernos de aplicações e APIs.
Reconhecer essas categorias ajuda as empresas a desenvolver medidas de mitigação direcionadas, alinhadas às práticas modernas de segurança de aplicações e APIs, e a abordar o escopo específico da segurança de LLMs.
Práticas recomendadas de segurança para LLMs
Como os LLMs interagem por meio de linguagem natural, geram resultados dinâmicos e frequentemente se integram a sistemas sensíveis, os controles de segurança tradicionais, por si só, são insuficientes.
As práticas recomendadas para a segurança de LLMs combinam salvaguardas técnicas, processos de governança e supervisão humana. As organizações devem partir do pressuposto de que os prompts podem ser manipulados, as respostas podem ser usadas indevidamente e as dependências podem ser comprometidas.
O objetivo não é eliminar o risco, mas reduzir a probabilidade e o impacto de falhas, ao mesmo tempo que se viabiliza a inovação segura em escala.
As empresas precisam de visibilidade contínua sobre a composição de riscos de cada modelo de IA que adotam. Isso significa comparar continuamente os modelos implantados com bibliotecas atualizadas de vulnerabilidades de IA para entender quais ameaças cada modelo introduz no ambiente. O Comprehensive AI Security Index (CASI) da F5 é uma das maiores bibliotecas de vulnerabilidades de IA disponíveis e uma das atualizadas com maior regularidade, oferecendo às organizações uma visão consistente e atualizada dos riscos de cada modelo.
Como a F5 viabiliza a segurança de LLMs?
As aplicações baseadas em LLMs devem ser incluídas nas práticas de desenvolvimento seguro, e não tratadas como sistemas independentes. Assim como APIs e microsserviços, os modelos devem ser versionados, ter o acesso controlado, ser testados e implantados por meio de pipelines de integração contínua e entrega contínua (CI/CD) com governança, para que as alterações permaneçam rastreáveis, auditáveis e reversíveis. A F5 aprimora a entrega de aplicações e os controles de segurança para cargas de trabalho de LLM, garantindo a aplicação consistente de políticas em ambientes híbridos e multinuvem.
A F5 AI Security Platform protege e gerencia modelos, aplicativos e agentes de IA, bem como as APIs que os conectam, com um ciclo contínuo de avaliação e mitigação de riscos que mantém os clientes no controle. Da governança de IA à proteção de IA em tempo de execução, a AI Security Platform oferece observabilidade de IA desde o pipeline de ingestão até a saída por meio de F5 AI Guardrails, F5 AI Red Team e muito mais.
F5 BIG-IP e F5 Distributed Cloud Services ajudam as organizações a proteger APIs de LLM por meio de gerenciamento de tráfego, controle de acesso e inspeção. Recursos como descoberta de APIs, autenticação, limitação de taxa e mitigação de bots protegem os endpoints de LLM contra uso indevido, ataques de negação de serviço (DoS) e ataques automatizados. Essas medidas evitam o esgotamento de recursos e bloqueiam o acesso não autorizado a serviços de inferência de alto custo.
F5 Distributed Cloud Web App and API Protection (WAAP) aprimora a segurança dos LLMs ao detectar ataques de injeção, prompts maliciosos e padrões de solicitação incomuns. A solução monitora o tráfego para detectar atividades anormais, identificando injeção de prompts, exfiltração de dados ou uso indevido de recursos de sistemas baseados em LLMs.
F5 BIG-IP SSL Orchestrator permite descriptografar e inspecionar o tráfego criptografado em ambientes com dados confidenciais ou sistemas externos, possibilitando que as ferramentas de segurança detectem ameaças ocultas. Essa visibilidade é essencial para monitorar as entradas e saídas de LLMs em produção sem afetar o desempenho.
Distributed Cloud Services oferecem gerenciamento centralizado de políticas, observabilidade e aplicação de controles em ambientes híbridos e multinuvem. As equipes de segurança obtêm visibilidade consistente do tráfego, das anomalias e das métricas dos LLMs, permitindo detectar e responder a ameaças com mais rapidez. A integração de LLMs às arquiteturas existentes evita silos isolados de IA. A F5 viabiliza uma segurança de IA escalável e resiliente, que se adapta à evolução das necessidades de negócios e das ameaças, aplicando princípios de defesa em profundidade às cargas de trabalho de IA.
Segurança de LLMs: perguntas frequentes
Quais são os principais riscos associados à segurança de LLMs?
Injeção de prompt, vazamento de dados, tratamento inseguro de saídas, envenenamento de dados de treinamento e autonomia excessiva são riscos comuns.
Como as empresas podem melhorar a segurança dos LLMs?
As empresas podem reforçar a segurança dos LLMs aplicando controles em camadas, como filtragem de entradas, validação de saídas, acesso com privilégios mínimos e monitoramento.
Qual é a diferença entre o OWASP Top 10 para aplicações de LLM e o OWASP Top 10 tradicional de riscos para a web?
O OWASP Top 10 tradicional foi desenvolvido para a segurança de aplicações web e abrange riscos como injeção, falhas de autenticação e configurações incorretas. O OWASP Top 10 para aplicações de LLM aborda riscos relacionados à linguagem natural, ao comportamento não determinístico e a ameaças não tradicionais da web (injeção de prompt, tratamento inseguro de saídas, envenenamento de dados de treinamento etc.).
Os LLMs podem ser utilizados para defesa cibernética?
Sim. Os LLMs são comumente usados para automatizar a análise de ameaças, analisar logs de segurança e agilizar a triagem e a resposta.