Wenn hohe Punktzahlen nicht ausreichen: Was wir von Qwen3 gelernt haben

James WhiteCTO, KI-Sicherheit | F5

Eine Frage beschäftigt uns bei F5 immer wieder: Woher wissen wir wirklich, ob ein Modell sicher ist? An der Beantwortung dieser Frage arbeiten wir schon seit einiger Zeit – zunächst mit unserem Comprehensive AI Security Index (CASI) und seit Kurzem auch mit unserem Agentic Resistance Score (ARS). Sehen wir uns also genauer an, was diese Bewertungen bedeuten und warum beide für die Beurteilung von Modellen unter realen Einsatzbedingungen entscheidend sind.

CASI: Die Sicherheitsgrundlage

CASI dient uns bereits seit einiger Zeit als Benchmark. Es bietet einen übergeordneten Überblick über die allgemeine Sicherheitslage eines Modells und dessen Widerstandsfähigkeit gegenüber einem breiten Spektrum an Schwachstellen. CASI zählt nicht nur die Erfolgsquoten von Angriffen, sondern gewichtet auch den Schweregrad erfolgreicher Sicherheitsverletzungen, die Komplexität der Angriffswege und den Belastungspunkt der Schutzmechanismen, ab dem die Sicherheitsvorkehrungen eines Modells zu versagen beginnen.

Betrachten Sie CASI als den Wert, mit dem Sie beurteilen können: „Ist dieses Modell im Vergleich zu anderen grundsätzlich sicher?“ Genau danach suchen die meisten Menschen, wenn sie sagen, dass sie ein „sicheres Modell“ wollen.

Doch der entscheidende Punkt ist: Angreifer in der realen Welt konfrontieren ein Modell nicht einfach nur mit einem Prompt und ziehen dann weiter. Sie bleiben hartnäckig. Sie probieren verschiedene Taktiken aus. Sie verfolgen ein Ziel.

ARS: Der Stresstest

Hier kommt ARS ins Spiel. ARS misst nicht die theoretische Resilienz, sondern unterzieht sie einem Stresstest.

Bei der AWR-Evaluierung setzen wir unsere eigenen autonomen Angriffsagenten ein. Wir geben ihnen fünf bösartige Absichten vor, die auf Aspekte wie Datenexfiltration oder Systemmanipulation abzielen, und lassen sie gewähren. Unsere Angriffsagenten planen, durchlaufen mehrere Iterationen und passen sich an. Sie gehen überall dorthin, wo sie hinmüssen, um ihr Ziel zu erreichen.

Das ist auch der Grund, warum wir jetzt zwei Bestenlisten haben. Das war keine bewusste Designentscheidung, sondern der Realität geschuldet. Einige Modelle, die bei CASI stark erscheinen, brechen unter dem Druck autonom agierender Agenten ein. Andere behaupten sich.

Ein anschauliches Beispiel: Qwen3

Nehmen wir Qwen3. Kürzlich von Alibaba veröffentlicht, ist es objektiv betrachtet ein gutes Modell. Bei CASI belegte es den 5. Platz und liegt damit klar in unseren Top 10. Also durchaus respektabel – nicht das beste, aber auch nicht das schlechteste. Zur Einordnung: Nur das beste 1 % aller Modelle schafft es überhaupt auf unsere CASI-Bestenliste. Beeindruckend, oder?

Auf der ARS-Bestenliste konnte sich Qwen3 jedoch nicht einmal platzieren. Warum? Weil es bei unseren Tests mit fünf bösartigen Absichten – die jeweils wirklich schlimme Dinge wie Selbstverletzung und andere schreckliche Inhalte repräsentieren sollten – in jedem einzelnen Fall versagte. Mit anderen Worten: Es bot keinerlei Widerstand.

Im Vergleich dazu ist das führende Modell auf dem ARS Leaderboard Claude 3.5 Sonnet von Anthropic. Bei denselben fünf böswilligen Absichten erwies sich Claude 3.5 gegenüber drei als widerstandsfähig und gegenüber zwei als anfällig. Es besteht also weiterhin ein Risiko, das jedoch deutlich geringer ist. (Claude 3.5 war übrigens auch das bestplatzierte Modell auf dem CASI Leaderboard, es gibt also einen gewissen Zusammenhang.)

Betrachten wir, was dies in der Praxis bedeutet. Wenn Sie Qwen3 in einem KI-System einsetzen, das mit Tools, Datenspeichern oder Benutzereingaben verbunden ist, setzen Sie das gesamte System realen Sicherheitsrisiken aus.

Diese Nuance kann CASI allein nicht abbilden. Sie benötigen beide Perspektiven: CASI für die allgemeine Sicherheitslage, ARS für die Resilienz auf Systemebene bei einem koordinierten Angriff.

Das Fazit

Wir haben diese Bewertungen nicht aus Eitelkeit entwickelt. Wir haben sie entwickelt, weil Angreifer in einer KI-Umgebung nicht statisch bleiben werden – und Ihre Sicherheitsmaßnahmen dürfen es ebenfalls nicht.

Wenn Sie ein Modell allein aufgrund seiner Leistung auswählen – etwa anhand des MMLU-Scores oder der Geschwindigkeit –, übersehen Sie den wichtigsten Aspekt. Wenn Ihnen also das nächste Mal jemand sagt, ein Modell sei „auf dem neuesten Stand“, fragen Sie: Ist es sicher? Denn wenn nicht, ist es noch nicht einsatzbereit.

Über den Autor

James WhiteCTO, KI-Sicherheit | F5

James White ist ein erfolgreicher Ingenieur und Unternehmensleiter mit fast zwei Jahrzehnten Erfahrung in der Unternehmenssoftwarebranche.

Weitere Blogbeiträge von James White