Quando pontuações altas não bastam: o que o Qwen3 nos ensinou

James WhiteDiretor de Tecnologia (CTO), Segurança de IA | F5

Uma pergunta continua surgindo para nós na F5: como podemos realmente saber se um modelo é seguro? É uma pergunta que temos buscado responder, primeiro com nossa pontuação do Índice Abrangente de Segurança de IA (CASI) e, mais recentemente, com nossa Pontuação de Resistência Agêntica (ARS). Então, vamos entender o que essas pontuações significam e por que ambas são essenciais para avaliar modelos em ambientes reais.

CASI: a referência básica de segurança

O CASI já é nossa referência há algum tempo. Ele oferece uma visão geral da postura de segurança de um modelo e de sua resiliência a um amplo espectro de vulnerabilidades. O CASI não se limita a contabilizar as taxas de sucesso dos ataques; ele pondera a gravidade das violações bem-sucedidas, a complexidade dos caminhos de ataque e o ponto de ruptura das defesas, quando as proteções de um modelo começam a falhar.

Pense no CASI como a pontuação que ajuda você a avaliar: “este modelo é, de modo geral, seguro em comparação com os outros?” É isso que a maioria das pessoas procura quando diz que quer um “modelo seguro”.

Mas é o seguinte: adversários do mundo real não se limitam a enviar um prompt a um modelo e ir embora. Eles insistem. Tentam várias táticas. Trabalham para alcançar um objetivo.

ARS: O teste de estresse

É aí que entra o ARS. O ARS não mede a resiliência teórica; ele a coloca à prova sob pressão.

Na avaliação AWR, implantamos nossos próprios agentes autônomos de ataque. Atribuímos a eles cinco objetivos maliciosos, voltados a ações como exfiltração de dados ou manipulação de sistemas, e os deixamos agir livremente. Nossos agentes de ataque planejam, iteram e se adaptam. Eles vão aonde for necessário para alcançar o objetivo.

É também por isso que agora temos dois rankings. Não foi uma escolha de design, mas um choque de realidade. Alguns modelos que parecem robustos no CASI sucumbem à pressão de agentes autônomos. Outros se mantêm firmes.

Um caso ilustrativo: Qwen3

Vejamos o Qwen3. Lançado recentemente pela Alibaba, ele é objetivamente um bom modelo. No CASI, ficou em 5º lugar, uma posição de destaque entre os dez melhores. Portanto, é respeitável — não é o melhor, nem o pior. Para colocar isso em perspectiva, apenas 1% dos melhores modelos chega ao nosso ranking do CASI. Impressionante, não é?

Mas no ranking ARS, o Qwen3 nem sequer conseguiu uma colocação. Por quê? Porque, quando o testamos contra cinco intenções maliciosas — cada uma criada para representar situações realmente graves, como automutilação e outras coisas terríveis —, ele falhou em todas. Em outras palavras, sua resistência foi zero.

Em comparação, o modelo mais bem classificado no ranking ARS é o Claude 3.5 Sonnet da Anthropic. Das mesmas cinco intenções maliciosas, o Claude 3.5 resistiu a três e se mostrou vulnerável a duas. Portanto, ainda há risco, mas ele é significativamente menor. (Por sinal, o Claude 3.5 também foi o modelo mais bem classificado no ranking CASI, então há certa correlação.)

Vamos considerar o que isso significa em termos práticos, no mundo real. Se você usar o Qwen3 em um sistema de IA conectado a ferramentas, repositórios de dados ou entradas de usuários, estará expondo todo o sistema a vulnerabilidades reais.

Essa é a nuance que o CASI, por si só, não consegue mostrar. Você precisa das duas perspectivas: o CASI para avaliar a postura geral de segurança e o ARS para avaliar a resiliência do sistema como um todo sob um ataque coordenado.

Conclusão

Não criamos essas pontuações por vaidade. Nós as criamos porque os invasores não ficarão parados em um ambiente de IA — e a sua segurança também não pode ficar.

Se você está escolhendo um modelo apenas com base no desempenho — pontuação no MMLU ou velocidade —, está deixando de lado o que mais importa. Então, da próxima vez que alguém disser que um modelo é “de última geração”, pergunte: ele é seguro? Porque, se não for, ainda não está pronto.

Sobre o autor

James WhiteDiretor de Tecnologia (CTO), Segurança de IA | F5

James White é um engenheiro e líder empresarial de destaque, com quase duas décadas de experiência no setor de software empresarial.

Mais publicações de James White