Avaliação de LLMs: construindo confiança com pontuação de segurança

Jessica BrennanGerente Sênior de Marketing de Produto, Segurança de IA | F5

À medida que a adoção da IA pelas empresas se acelera, a avaliação de LLMs deixa de se limitar ao desempenho e passa a envolver também a confiança. As equipes de segurança precisam avaliar não apenas o desempenho de um modelo, mas também a segurança de seu comportamento. No entanto, a maioria das estruturas de avaliação se concentra em benchmarks de precisão, deixando os fatores de segurança e risco vagos ou sem mensuração.

Essa falta de clareza é perigosa. Sem métricas de segurança explicáveis e comparáveis, não há uma maneira confiável de comparar modelos, demonstrar resiliência ou tomar decisões ajustadas ao risco sobre como e onde a IA deve ser implantada.

Na F5, passamos muitos meses trabalhando com líderes de segurança empresarial que expressaram uma preocupação recorrente: “Precisamos explicar às partes interessadas internas o que uma pontuação significa, como ela foi calculada e o que podemos fazer para melhorá-la.”

Este artigo explora como construir essa confiança por meio da compreensão das duas pontuações complementares que agora formam a base da avaliação segura da IA generativa: o Índice Abrangente de Segurança de IA (CASI) e a Pontuação de Resistência Agêntica (ARS).

O problema da "pontuação" de segurança de IA atualmente

Quando as empresas testam modelos de IA, geralmente recebem um resultado binário: o modelo falhou ou não? Ou uma classificação de risco vaga: baixo/médio/alto, com poucos detalhes.

Nenhuma das abordagens se sustenta quando os sistemas de IA entram em produção e começam a interagir com dados confidenciais, usuários externos ou agentes subsequentes.

Os líderes de segurança precisam de mais do que taxas de sucesso de ataques; eles precisam ter visibilidade sobre:

• Gravidade: qual é o nível de perigo de um ataque bem-sucedido?
• Complexidade: Qual é o grau de dificuldade para explorar o modelo?
• Contexto: Ele falha em situações reais, em interações com múltiplos turnos ou no uso em aplicações?

A F5 desenvolveu sistemas de pontuação para abordar diferentes camadas da segurança de sistemas de IA. Esses sistemas foram alinhados a frameworks de segurança consolidados que avaliam os riscos empresariais.

Alinhamento da pontuação ao risco empresarial

Estruturas e normas do setor podem ajudar as organizações a avaliar os riscos da IA, compreender possíveis vulnerabilidades e estabelecer abordagens mais consistentes para governança e segurança. Alguns exemplos são o OWASP Top 10 para aplicações de LLM, o Framework de Gestão de Riscos de IA do NIST e a ISO/IEC 42001, cada um dos quais aborda os riscos da IA sob uma perspectiva diferente.

OWASP Top 10 para aplicações de LLM

A fundação sem fins lucrativos OWASP (Open Worldwide Application Security Project) publica uma lista das 10 principais ameaças para aplicações de LLM, conforme avaliação dos membros da comunidade. A classificação busca refletir tanto o impacto quanto a probabilidade dos riscos, embora os votos dos profissionais não reflitam necessariamente a prevalência de ataques no mundo real. Assim, embora a injeção de prompt seja classificada pelos profissionais como o principal risco para aplicações de LLM, ela não estaria entre os 10 principais incidentes no mundo real.

NIST AI RMF

Em 2023, o Instituto Nacional de Padrões e Tecnologia dos EUA (NIST) publicou uma Estrutura de Gestão de Riscos de Inteligência Artificial (AI RMF) que fornece orientações práticas para a gestão de riscos relacionados à IA.

Como parte de suas práticas recomendadas para a gestão de riscos, a estrutura avalia os comportamentos dos modelos com base nas características de uma IA “confiável” e nas dimensões de “dano”. Por exemplo, um sistema de IA pode ser considerado arriscado se não fornecer resultados precisos e imparciais (duas das sete medidas de confiabilidade) e se houver a possibilidade de causar danos a indivíduos, organizações ou à sociedade (as três medidas de dano). Diferentes níveis de confiabilidade e dano exigem ações distintas.

ISO/IEC 42001:2023

A Organização Internacional de Normalização (ISO) e a Comissão Eletrotécnica Internacional (IEC) publicaram conjuntamente uma norma para gerenciar sistemas de IA de forma responsável, com foco em governança, responsabilização e controles operacionais no âmbito empresarial. Ao avaliar riscos, a norma incentiva as organizações a analisar como vulnerabilidades da IA, falhas éticas ou erros operacionais podem afetar os objetivos organizacionais, a segurança ou as obrigações perante a sociedade. As organizações devem avaliar a probabilidade e o impacto dos riscos por meio de pontuação (usando uma escala de um a cinco). Um risco com baixa probabilidade de causar uma falha técnica receberia uma pontuação baixa, enquanto um risco que pudesse gerar uma violação de conformidade receberia uma pontuação alta. O risco total calculado seria então comparado aos critérios de aceitação de riscos da organização.

É importante destacar que nenhuma dessas três estruturas apresenta resultados binários de aprovação/reprovação. Todas elas classificam a gravidade potencial dos riscos e seu impacto. Da mesma forma, a F5 avalia os LLMs de maneira granular, permitindo que os líderes comparem com mais cuidado os modelos e sua capacidade de resistir a ameaças.

CASI: o DNA de segurança de um modelo

O Índice Abrangente de Segurança de IA (CASI) ajuda as equipes a tornar mais rigoroso o processo de avaliação de LLMs, medindo mais do que apenas o sucesso de jailbreaks. O CASI pontua modelos fundacionais em uma escala de 0 a 100, considerando:

• Gravidade do impacto: Nem todas as falhas são iguais. Divulgar credenciais é pior do que responder a perguntas triviais.
• Complexidade do ataque: Modelos que falham diante de formulações simples não são tão seguros quanto aqueles que exigem estratégias adversariais avançadas.
• Ponto de ruptura das defesas: Com que rapidez e sob quais condições o alinhamento de um modelo entra em colapso?

Isso permite que as equipes de segurança escolham modelos altamente resilientes, e não apenas aqueles que passam em testes fáceis.

Por exemplo, o Qwen3, da Alibaba, obteve uma pontuação competitiva no CASI, o que sugere fortes defesas no nível do modelo. No entanto, quando testado com métodos agênticos, ele não conseguiu resistir a ataques mais sofisticados e persistentes. Isso evidencia as limitações de uma avaliação focada apenas no modelo.

Esses resultados são publicados no F5 Labs, um recurso público atualizado regularmente que classifica os LLMs mais utilizados com base em testes de intrusão realizados em cenários reais. Ao contrário dos rankings de desempenho convencionais, este ranking ajuda as empresas a comparar modelos em termos de segurança, risco, custo e resiliência no nível do sistema, tornando-se uma ferramenta essencial para uma avaliação criteriosa de LLMs.

ARS: Quando os modelos se tornam sistemas

Embora o CASI meça a resiliência do modelo fundamental, ele não considera o comportamento no nível do sistema. É aí que entra o Índice de Resistência Agêntica (ARS).

O ARS mede a capacidade de um sistema de IA (incluindo agentes, ferramentas de recuperação ou camadas de orquestração) de resistir a ataques persistentes e adaptativos. Esses testes são realizados por agentes adversários autônomos que:

• Aprendem com tentativas malsucedidas
• Encadeie ataques ao longo de vários turnos
• Ataques direcionados a prompts ocultos, bancos de dados vetoriais e lógica de recuperação

Com uma pontuação de 0 a 100, o ARS é estruturado em torno de três dimensões:

1. Sofisticação necessária: Qual é o nível de habilidade que o invasor precisa ter?
2. Resistência defensiva: Por quanto tempo o sistema consegue resistir?
3. Contrainteligência: O sistema revela pistas úteis para ataques mesmo quando bloqueia a ameaça inicial?

Uma pontuação ARS mais alta significa que seu sistema de IA não é apenas seguro de forma isolada. Ele é capaz de resistir a ataques contextuais e agênticos que simulam o que agentes de ameaças reais já estão testando em ambientes reais.

Resistência a vulnerabilidades do mundo real

Os modelos CASI e ARS avaliam a resistência a ameaças do mundo real. Enquanto o CASI mede a resistência a ameaças como injeção de prompts ou ataques de jailbreak, o ARS avalia a resistência a ataques em várias etapas, como quando agentes são induzidos a realizar ações sem a devida autorização.

Essas pontuações, publicadas em rankings mensais, refletem as atualizações mais recentes dos modelos. Por exemplo, o Claude Fable 5, da Anthropic, apareceu pela primeira vez no ranking em agosto de 2026, depois que a empresa solucionou uma grave ameaça de jailbreak.

Os ataques de jailbreak, que são um tipo de injeção de prompt, envolvem manipular um modelo para que ele viole seus próprios protocolos de segurança. Quando a Anthropic lançou inicialmente o Claude Fable 5, em junho de 2026, os pesquisadores logo descobriram que era possível aplicar jailbreak ao modelo. A Anthropic suspendeu temporariamente o modelo para retreinar seu classificador de segurança. O trabalho foi bem-sucedido: posteriormente, a técnica descrita pelos pesquisadores foi bloqueada em mais de 99% dos casos. Consequentemente, o modelo conquistou uma das primeiras posições no ranking CASI a partir de agosto e obteve uma pontuação de 98,03 em setembro.

É claro que novas atualizações não garantem maior resistência a ameaças. O Grok 4.3 da xAI obteve uma pontuação CASI de 70,28. Já o Grok 4.5 caiu para 45,20, mesmo com o aumento da pontuação de capacidade da nova versão.

Por que líderes de segurança precisam do CASI e do ARS

Líderes de segurança que avaliam implementações de IA, especialmente aquelas que envolvem arquiteturas RAG, agentes autônomos ou fluxos de trabalho de orquestração complexos, precisam de uma visão da confiança em várias camadas. O CASI ajuda a escolher uma base. Ele indica se as defesas integradas de um modelo são robustas o suficiente para aplicações de nível empresarial. O ARS valida sua implementação. Ele mostra se seus fluxos de trabalho personalizados ou sistemas integrados introduzem novas vulnerabilidades, mesmo quando o modelo-base obtém uma boa pontuação.

A transparência impulsiona a capacidade de agir

A pontuação só é útil quando orienta decisões. Líderes de segurança nos dizem que precisam de:

• Metodologias de pontuação explicáveis que possam ser compartilhadas com comitês de risco e equipes de produto.
• Indicadores numéricos claros que podem ser comparados, monitorados e aprimorados.
• Testes de intrusão adaptados à aplicação que expõem vulnerabilidades no nível do sistema (não apenas falhas do modelo).

É por isso que publicamos metodologias de pontuação, fornecemos registros detalhados de cada prompt em relatórios de red teaming e oferecemos suporte a testes contínuos de segurança tanto em modelos quanto em sistemas de IA.

A confiança na IA não vem de garantias vagas. Ela vem de uma avaliação que reflete riscos reais, de testes que reproduzem ameaças reais e de relatórios que levam a melhorias concretas.

A confiança é construída, não apenas declarada

A IA só é confiável na medida em que o processo usado para avaliá-la e monitorá-la também o seja. Uma pontuação de segurança transparente, tanto no nível do modelo quanto do sistema, oferece às equipes de segurança a linguagem, as evidências e a confiança necessárias para implementar a GenAI com segurança.

E, para empresas que atuam em setores regulamentados, áreas de alto risco ou com agentes de IA voltados para o usuário, essa confiança é indispensável.

Perguntas frequentes

O que é uma plataforma de segurança de IA e por que a cibersegurança convencional não é suficiente para proteger sistemas de IA?

As soluções padrão de segurança cibernética podem oferecer proteção eficaz para dados, aplicações e redes. No entanto, elas não foram projetadas para os tipos específicos de ameaças enfrentadas por sistemas e agentes de IA. Uma plataforma de segurança de IA incorpora recursos específicos para proteger aplicações, serviços, modelos e agentes de IA contra acesso não autorizado, adulteração, ataques mal-intencionados e outras ameaças.

Como os modelos de pontuação de segurança, como CASI e ARS, se alinham a frameworks como o NIST AI RMF?

Estruturas como o Framework de Gerenciamento de Riscos de Inteligência Artificial (AI RMF) do Instituto Nacional de Padrões e Tecnologia dos EUA (NIST) fornecem orientações para avaliar e gerenciar os riscos e a confiabilidade da IA. Da mesma forma, o Índice Abrangente de Segurança de IA (CASI) e a Pontuação de Resistência Agêntica (ARS) da F5 fornecem métricas quantitativas de segurança que podem ajudar as organizações a avaliar a resiliência de modelos e sistemas.

Qual é a diferença entre proteger um modelo de IA e proteger um sistema de IA?

Proteger um modelo de IA ajuda a garantir que ele não produza respostas imprecisas ou prejudiciais, que podem resultar de envenenamento de dados, injeções diretas de prompt ou outras ações maliciosas. Proteger um sistema de IA envolve não apenas o modelo, mas também tudo o que estiver conectado a ele, como a interface do usuário, um banco de dados vetorial ou integrações com APIs externas. Essa proteção pode se concentrar na prevenção de injeções indiretas de prompt, sequestro de APIs, exfiltração de dados ou ataques de escalonamento de privilégios.

Como as proteções em tempo de execução evitam o vazamento de dados e a injeção de prompts?

As proteções em tempo de execução evitam o vazamento de dados e a injeção de prompts ao inspecionar e proteger as interações com a IA em tempo real durante as atividades de usuários, agentes e APIs. Elas podem impedir o vazamento de dados e a injeção de prompts inspecionando tanto os prompts recebidos quanto as respostas enviadas. Guardrails bloqueiam tentativas de injeção de prompts e garantem que nenhum dado confidencial entre ou saia do modelo.

Por que a avaliação do LLM base é insuficiente para arquiteturas de RAG e IA agêntica?

Avaliar modelos de linguagem de grande escala (LLMs) é fundamental para ajudar as organizações a estabelecer uma base de IA. No entanto, elas também precisam saber como esses modelos funcionarão em sistemas que incorporam geração aumentada por recuperação (RAG) e agentes autônomos. Uma estrutura como o F5 Agentic Resistance Score (ARS) permite que as organizações entendam melhor se fluxos de trabalho personalizados ou sistemas integrados criarão novas vulnerabilidades.

Sobre o autor

Jessica BrennanGerente Sênior de Marketing de Produto, Segurança de IA | F5

Mais publicações de Jessica Brennan