Apresentamos o ranking CASI

Lee EnnisGerente Sênior de Ciência de Dados | F5

A adoção da IA está avançando mais rapidamente do que a de qualquer tecnologia anterior.

O que começou com alguns poucos grandes modelos e fornecedores se transformou em um vasto ecossistema de modelos de IA comerciais e de código aberto, cada um com suas próprias vantagens e riscos. Com milhões de modelos disponíveis, as empresas que adotam IA precisam de informações transparentes sobre os riscos que mostrem exatamente quais ameaças cada modelo introduz em seu ambiente.

Após a aquisição da CalypsoAI pela F5, temos o prazer de apresentar o Ranking do Índice Abrangente de Segurança de IA (CASI) para oferecer aos líderes de IA e GRC insights detalhados sobre as diferentes composições de risco dos modelos de IA mais proeminentes. Fundada em 2018, a CalypsoAI tem sido pioneira em pesquisas sobre segurança de IA, criando uma das maiores bibliotecas de vulnerabilidades de IA e atualizando-a regularmente com mais de 10.000 novos prompts de ataque por mês. Com base nesse trabalho, os testes do ranking avaliam de forma abrangente a segurança dos modelos-base e dos sistemas de IA, concentrando-se nos modelos mais populares e naqueles implantados por nossos clientes.

Como funcionam os testes do CASI?

Essas ferramentas foram desenvolvidas para atender às necessidades empresariais de seleção de um modelo pronto para produção, ajudando CISOs e desenvolvedores a criar soluções que priorizem a segurança. Os rankings eliminam o ruído no universo da IA, sintetizando questões complexas sobre a segurança dos modelos em cinco métricas principais:

1. Pontuação CASI - Uma métrica composta desenvolvida para medir a segurança geral de um modelo (metodologia abaixo).
2. Pontuação de Resistência Agêntica (ARS) - Avalia como um modelo pode comprometer todo um sistema de IA. Para isso, colocamos em ação nossa equipe de agentes autônomos de ataque, treinados para atacar o sistema, extrair informações e comprometer a infraestrutura. Dessa forma, esses agentes podem extrair dados pessoais sensíveis de bancos de dados vetoriais, compreender a arquitetura do sistema e testar o alinhamento do modelo com instruções explícitas.
3. Desempenho - O desempenho médio do modelo é baseado em benchmarks populares, como MMLU, GPQA, MATH e HumanEval.
4. Relação entre Risco e Desempenho (RTP) - Uma visão sobre o equilíbrio entre a segurança e o desempenho do modelo.
5. Custo da Segurança (CoS) - O custo atual de inferência em relação ao CASI do modelo, avaliando o impacto financeiro da segurança.

O ranking do Índice Abrangente de Segurança de IA (CASI) no F5 Labs.

O que é a pontuação CASI e por que ela é importante?

CASI é uma métrica desenvolvida para responder à complexa pergunta: “Quão seguro é o meu modelo?”. Uma pontuação CASI mais alta indica um modelo ou aplicativo mais seguro. Embora muitos estudos sobre ataques ou testes de segurança ofensivos em modelos se baseiem na Taxa de Sucesso de Ataques (ASR), essa métrica muitas vezes ignora as diferenças no impacto de cada ataque. A ASR tradicional considera todos os ataques equivalentes, o que é enganoso. Por exemplo, um ataque que burla o cadeado de uma bicicleta não deve ser equiparado a outro que compromete códigos de lançamento nuclear. Da mesma forma, em IA, um modelo pequeno e desprotegido pode ser facilmente comprometido com uma simples solicitação de informações confidenciais, enquanto um modelo maior pode exigir técnicas sofisticadas, como agentes autônomos e coordenados de IA, para romper seu alinhamento. A CASI capta essa nuance ao diferenciar ataques simples de complexos e estabelecer o Ponto de Ruptura Defensiva (DBP) de um modelo — o caminho de menor resistência e a quantidade mínima de recursos computacionais necessários para um ataque bem-sucedido.

Pontuação de Resistência Agêntica (ARS): testando modelos sob condições extremas para além do CASI

As varreduras padrão de vulnerabilidades de IA fornecem uma visão inicial da segurança do modelo, mas oferecem apenas uma compreensão superficial de como um sistema de IA pode se comportar diante de ataques reais.

Para preencher essa lacuna, utilizamos o F5 AI Red Team, uma sofisticada tecnologia de red teaming que comanda enxames de agentes autônomos de IA, simulando uma equipe de analistas de ameaças persistentes e inteligentes. Esses agentes investigam, aprendem e se adaptam, executando ataques em várias etapas projetados para revelar vulnerabilidades críticas que testes estáticos muitas vezes não detectam.

Esse rigoroso processo de teste gera uma ARS, uma medida quantitativa da capacidade de defesa de um sistema de IA, avaliada em uma escala de 0 a 100. Uma ARS mais alta indica que, para comprometer o sistema, é necessário um invasor mais sofisticado, persistente e bem-informado. Esse valor comparável, derivado de narrativas de ataque complexas, é calculado com base em três categorias essenciais:

• Sofisticação necessária – Qual é o nível mínimo de engenhosidade que um invasor precisa ter para violar a IA? O sistema consegue resistir a estratégias avançadas e personalizadas ou sucumbe a ataques mais simples e comuns?
• Resistência Defensiva – Por quanto tempo o sistema de IA consegue permanecer seguro diante de um ataque prolongado e adaptativo? Ele sucumbe após algumas interações ou resiste a ataques persistentes e em constante evolução?
• Contrainteligência – A IA está treinando seus invasores sem querer? Este vetor avalia se uma tentativa de ataque malsucedida expõe informações críticas, como a natureza de seus filtros, fornecendo inadvertidamente um roteiro para futuras explorações de vulnerabilidades.

Quais são as tendências mais recentes?

Nossa equipe da F5 Labs preparou uma análise detalhada das tendências mais recentes observadas em nossos testes de setembro. Para obter insights aprofundados sobre as técnicas, vulnerabilidades e explorações em ascensão, volte todos os meses e mantenha-se por dentro das últimas tendências em segurança de IA.

Acompanhando a evolução do cenário de modelos de IA

A superfície de ataque da IA continuará evoluindo, e a F5 está comprometida em fornecer às organizações os insights necessários para adaptar a segurança de IA à medida que essas mudanças ocorrem. Assim como acontece com qualquer nova tecnologia, a IA sempre trará consigo um grau de risco “diferente de zero”. O primeiro passo para uma segurança de IA abrangente é entender onde estão os riscos, e os CASI Leaderboards continuarão contribuindo para essa compreensão à medida que o cenário dos modelos de IA evolui continuamente.

Quer saber mais? O mesmo red teaming agêntico que usamos para avaliar modelos de base pode ser aplicado e adaptado ao seu ambiente de IA para fornecer insights ainda mais aprofundados com a F5 AI Red Team.

Sobre o autor

Lee EnnisGerente Sênior de Ciência de Dados | F5

Lee Ennis lidera a equipe de ciência de dados e pesquisa em IA da F5, onde se concentra no desenvolvimento de soluções avançadas de segurança de IA que ajudam as empresas a implantar e monitorar com segurança modelos de linguagem de grande escala (LLMs) e sistemas de IA generativa. Sua equipe combina conhecimentos especializados em aprendizado de máquina, testes adversariais e garantia de modelos para identificar vulnerabilidades e fortalecer a confiança em ambientes orientados por IA.

Mais publicações de Lee Ennis