Insights do modelo de segurança de IA do F5 Labs: quando agentes de IA expõem dados sem a presença de um invasor

Malcolm HeathPesquisador Principal de Ameaças à Cibersegurança | F5

Louise ScullyGerente Sênior de Marketing de Produto, Segurança de IA e Inteligência de Ameaças | F5

Os agentes de IA são projetados para concluir tarefas de forma autônoma, muitas vezes identificando maneiras de atingir um objetivo que seus operadores talvez não tenham previsto. Incidentes recentes revelam como agentes que trabalham para cumprir suas atribuições podem, inesperadamente, expor dados críticos ou acionar fluxos de trabalho indesejados.

Esses incidentes não envolvem necessariamente comportamentos maliciosos ou modelos comprometidos. Os riscos podem surgir quando agentes buscam objetivos legítimos, mas operam sem controles adequados sobre o que podem acessar, executar ou compartilhar. Como resultado, dados sensíveis podem ser expostos ao público e, potencialmente, a agentes mal-intencionados, sem que haja qualquer envolvimento de um invasor.

Dois exemplos desse tipo de risco são explorados no relatório de outubro sobre insights de segurança de IA da F5 Labs. Esse relatório mensal examina a resiliência dos modelos por meio dos rankings de segurança de IA da F5 Labs, além de ameaças emergentes, vulnerabilidades e incidentes de segurança que afetam os sistemas de IA. Ele também analisa ameaças e incidentes emergentes de segurança de IA, incluindo dois casos neste mês em que agentes executando tarefas legítimas expuseram informações confidenciais sem a participação de um invasor externo. Esses incidentes destacam como os riscos de segurança podem surgir não apenas de vulnerabilidades dos modelos, mas também do comportamento dos agentes e dos controles que regem suas ações.

Leve em conta a lei das consequências não intencionais

Um desses incidentes, a recente exposição de dados conhecida como PixelLeak, evidencia os riscos do comportamento autônomo de agentes quando os controles de segurança adequados não são aplicados. Agentes de programação com IA costumam receber a tarefa de anexar às pull requests capturas de tela que mostram o antes e o depois do trabalho dos desenvolvedores. Mas ninguém esperava que eles fizessem isso publicando imagens proprietárias e potencialmente sensíveis em repositórios públicos do GitHub.

Os agentes usam uma interface de linha de comando (CLI) em vez da interface de navegador que as pessoas usam para acessar o serviço de hospedagem de imagens. Sem uma forma de adicionar imagens a pull requests privados pela linha de comando, os agentes concluíram que, para evitar links quebrados para os revisores, precisavam criar repositórios públicos. Alguns desenvolvedores também usavam o gitshot, uma ferramenta de código aberto para publicação de capturas de tela associada à criação de repositórios públicos. Segundo a pesquisa, aproximadamente um terço das organizações afetadas tinha desenvolvedores que usavam a ferramenta.

Mais de 13 mil capturas de tela e gravações internas foram expostas em mais de 900 repositórios públicos do GitHub, afetando mais de 300 organizações. Em uma semana, mais de uma dúzia de agentes de um fornecedor de software haviam codificado essa solução alternativa como uma habilidade reutilizável. A questão de segurança mais ampla é que os agentes conseguiram publicar materiais potencialmente sensíveis em repositórios públicos fora da supervisão corporativa habitual. Com 93% dos repositórios afetados em contas pessoais, as descobertas destacam a importância de impor controles sobre onde os agentes podem publicar dados, em vez de confiar apenas nos fluxos de trabalho previstos ou nas instruções dos desenvolvedores.

Outro incidente relatado em outubro levantou preocupações sobre a exposição de dados em ambientes compartilhados de agentes de IA. Segundo um relato da própria pessoa afetada, um agente de assistência pessoal baseado no Grok publicou informações sobre as finanças pessoais de seu proprietário em um canal de trabalho no Slack do qual o proprietário também participava. Esperava-se que o bot do Grok realizasse uma auditoria somente de leitura das contas bancárias do proprietário, analisasse os gastos e apresentasse os resultados mensalmente. Um detalhe crucial é que o agente não tinha conexão com o Slack; ele deveria enviar a auditoria ao proprietário por outros meios.

Em vez disso, as informações financeiras do proprietário ficaram expostas no canal do Slack da empresa dele por duas horas, como se ele próprio as tivesse publicado, até que um colega chamasse a atenção para o ocorrido. Embora o incidente relatado ainda não tenha sido verificado, ele evidencia uma preocupação de segurança plausível: as permissões no nível do agente podem não oferecer isolamento suficiente quando vários agentes compartilham credenciais, sessões ou integrações no mesmo ambiente.

O bot financeiro não tinha acesso ao Slack, mas outro bot na mesma conta tinha, e todos os bots de um usuário compartilham recursos. De fato, a documentação da SpaceXAI alerta explicitamente para que bots separados não sejam usados como uma barreira de segurança. O incidente relatado levanta dúvidas sobre se as permissões específicas de cada agente oferecem proteção suficiente em ambientes compartilhados. Quando os agentes podem acessar credenciais, sessões ou recursos em comum, as organizações precisam avaliar se controles eficazes de isolamento e autorização são aplicados.

Espere riscos mesmo sem adversários

Esses incidentes ilustram uma distinção importante: a resistência de um modelo a ataques adversariais não garante a segurança de todas as aplicações ou agentes desenvolvidos com base nele. A resiliência do modelo é um fator importante, mas a segurança também depende das permissões, integrações e controles que regem o sistema de IA em operação.

O Índice Abrangente de Segurança de IA (CASI) da F5 Labs mede a resistência dos modelos a ataques adversariais, incluindo injeção de prompts e jailbreaks. A Pontuação de Resistência Agêntica (ARS) avalia a resiliência contra ataques agênticos complexos e com múltiplas etapas. Ambos fornecem evidências valiosas de resiliência a ataques adversariais, mas nenhum deles se destina a avaliar todas as permissões, integrações ou controles de execução que envolvem um agente em produção.

Essa distinção é importante porque os agentes operam em um sistema mais amplo de conectores, credenciais, recursos compartilhados e permissões. A pesquisa de outubro ilustra como falhas nesses controles do ambiente podem levar à divulgação não intencional de informações, mesmo sem a atuação de um invasor. Ela também identifica outros casos, incluindo o GitSpawn e a vulnerabilidade do GitLab AI Gateway, nos quais invasores poderiam explorar limites de confiança ou de execução que não foram aplicados quando necessário. A lição comum é que os limites de segurança devem ser eficazes, independentemente de uma ação arriscada partir de um agente executando uma tarefa legítima ou de um invasor explorando uma falha.

Para os CISOs, isso significa avaliar não apenas o modelo. A modelagem de ameaças deve abranger toda a arquitetura dos agentes, incluindo identidade, autorização, acesso a ferramentas, ambientes compartilhados e as consequências de ações autônomas. Abordagens de detecção focadas principalmente em invasões mal-intencionadas também podem deixar passar ações prejudiciais realizadas por agentes que, de resto, estão devidamente autorizados. Uma forte resiliência a ataques adversariais no nível do modelo é valiosa, mas não substitui a aplicação e o monitoramento de controles sobre o que os agentes em produção podem acessar, executar ou divulgar.

Proteja sua organização contra riscos não adversariais

Essas descobertas mostram por que as organizações não podem depender apenas do comportamento previsto de um agente ou da pontuação de segurança de um modelo. Os CISOs não podem prever todas as ações que um agente autônomo pode realizar, mas podem reduzir o impacto de comportamentos inesperados ao definir e validar limites que possam ser efetivamente aplicados. Cinco áreas merecem atenção:

1. Amplie sua definição de segurança de IA. Avalie a resiliência do modelo juntamente com a segurança do sistema de IA como um todo, incluindo identidade dos agentes, autorização, isolamento, acesso a recursos e ambientes de execução. Essas avaliações de segurança são distintas, mas complementares.
2. Considere toda a infraestrutura de IA. Inclua gateways de IA, mecanismos de templates e serviços de orquestração de agentes nos inventários de ativos, na gestão de vulnerabilidades, nos processos de aplicação de patches e nas revisões de acesso privilegiado. A descoberta de outubro no GitLab AI Gateway mostra por que esses componentes devem ser tratados como infraestrutura crítica para a segurança.
3. Imponha limites técnicos. As instruções de prompts e as configurações específicas dos agentes não substituem o isolamento e a autorização eficazes, especialmente quando os agentes compartilham recursos. Restrinja os locais em que os agentes podem publicar artefatos, revise as habilidades reutilizáveis criadas por agentes e monitore o que as ações dos agentes realmente produzem.
4. Verifique os controles antes da execução. Verifique se os controles de confiança e aprovação atuam antes que ações potencialmente perigosas possam ocorrer. Na descoberta de outubro envolvendo o GitSpawn, a configuração do repositório podia acionar a execução de código durante a inicialização do agente, antes das verificações de confiança pertinentes, sem uma chamada de ferramenta pelo modelo. Diante disso, revise o comportamento de inicialização, as permissões dos endpoints de desenvolvedor e os caminhos da cadeia de suprimentos de software.
5. Reavalie os modelos e os ambientes dos agentes à medida que mudam. Os resultados do CASI de outubro mostram variações até mesmo dentro de uma única família: o GPT-6 Luna obteve 93,52 pontos, o Astra, 89,62, e o Sol, 88,22. Portanto, as variantes dos modelos exigem avaliações de segurança individuais. Reavalie também as permissões dos agentes, as integrações e a infraestrutura após mudanças significativas. Testes adversariais, incluindo o F5 AI Red Team, podem ajudar a identificar vulnerabilidades, mas devem ser complementados por verificações dos controles operacionais que regem as ações dos agentes.

As descobertas de outubro reforçam uma lição prática para os CISOs: a resiliência do modelo, o comportamento dos agentes e os controles que envolvem uma implantação de IA precisam ser avaliados em conjunto. Uma pontuação alta de resiliência a ataques adversariais não elimina os riscos decorrentes de permissões, integrações ou infraestrutura.

Leia o relatório de outubro do F5 Labs sobre tendências de segurança de IA para entender os resultados mais recentes de CASI e ARS, as técnicas de ataque emergentes e a análise de vulnerabilidades em sistemas de IA.

Descubra como a F5 AI Security Platform pode ajudar a proteger sua organização. Não deixe de ler também o artigo do blog de insights de inteligência de ameaças do F5 Labs do mês passado, que abordou a variedade de métricas de segurança que os CISOs precisam avaliar antes e depois da implantação do modelo.

Sobre os autores

Malcolm HeathPesquisador Principal de Ameaças à Cibersegurança | F5

Malcolm Heath é o Pesquisador Principal de Ameaças da F5 Labs. Sua carreira inclui resposta a incidentes, gerenciamento de programas, testes de invasão, auditoria de código, pesquisa de vulnerabilidades e desenvolvimento de exploits em empresas de todos os portes. Antes de ingressar na F5 Labs, ele foi Engenheiro Sênior de Segurança no F5 SIRT.

Mais publicações de Malcolm Heath

Louise ScullyGerente Sênior de Marketing de Produto, Segurança de IA e Inteligência de Ameaças | F5

Louise Scully é gerente sênior de Marketing de Produtos para Segurança de IA e Inteligência de Ameaças na F5. Sua carreira abrange marketing de produtos, gestão de produtos, estratégia de entrada no mercado, comunicação, liderança de pensamento e desenvolvimento de categorias nas áreas de segurança de IA e tecnologia empresarial. Antes de ingressar na F5, Louise liderou o marketing na CalypsoAI e na Artomatix, ajudando a levar tecnologias e pesquisas de IA ao mercado.

Mais publicações de Louise Scully