Wir stellen die CASI-Bestenliste vor

Lee EnnisSenior Manager, Data Science | F5

Die Einführung von KI schreitet schneller voran als bei jeder Technologie zuvor.

Was mit einigen wenigen großen Modellen und Anbietern begann, hat sich zu einem riesigen Ökosystem aus Open-Source- und kommerziellen KI-Modellen entwickelt, die jeweils eigene Vorteile und Risiken mit sich bringen. Angesichts von Millionen verfügbaren Modellen benötigen Unternehmen, die KI einsetzen, transparente Einblicke in die Risiken, die genau aufzeigen, welche Bedrohungen jedes einzelne Modell in ihre Umgebung einbringt.

Nach der Übernahme von CalypsoAI durch F5 freuen wir uns, das Comprehensive AI Security Index (CASI) Leaderboard vorzustellen, das Verantwortlichen für KI und GRC detaillierte Einblicke in die unterschiedlichen Risikoprofile der bekanntesten KI-Modelle bietet. CalypsoAI wurde 2018 gegründet und leistet seitdem Pionierarbeit in der KI-Sicherheitsforschung. Das Unternehmen hat eine der größten Bibliotheken für KI-Schwachstellen aufgebaut und erweitert sie regelmäßig um mehr als 10.000 neue Angriffsprompts pro Monat. Auf dieser Grundlage bewerten die Tests für das Leaderboard die Sicherheit von Basismodellen und KI-Systemen ganzheitlich. Der Schwerpunkt liegt dabei auf den beliebtesten Modellen sowie auf Modellen, die von unseren Kunden eingesetzt werden.

Wie funktionieren die CASI-Tests?

Diese Tools wurden entwickelt, um die geschäftlichen Anforderungen bei der Auswahl eines produktionsreifen Modells zu erfüllen und CISOs sowie Entwickler dabei zu unterstützen, Sicherheit von Anfang an in den Mittelpunkt zu stellen. Die Bestenlisten sorgen für Klarheit im unübersichtlichen KI-Umfeld und verdichten komplexe Fragen zur Modellsicherheit auf fünf zentrale Kennzahlen:

1. CASI-Score – Eine zusammengesetzte Kennzahl zur Bewertung der Gesamtsicherheit eines Modells (Methodik siehe unten).
2. Agentischer Resistenzwert (ARS) – Bewertet, inwieweit ein Modell ein gesamtes KI-System kompromittieren kann. Dazu setzen wir unser Team autonomer Angriffsagenten ein, die darauf trainiert sind, das System anzugreifen, Informationen zu extrahieren und die Infrastruktur zu kompromittieren. Auf diese Weise können diese Agenten sensible personenbezogene Daten aus Vektordatenbanken extrahieren, die Systemarchitektur nachvollziehen und die Ausrichtung des Modells anhand expliziter Anweisungen testen.
3. Leistung – Die durchschnittliche Leistung des Modells basiert auf gängigen Benchmarks wie MMLU, GPQA, MATH und HumanEval.
4. Risiko-Leistungs-Verhältnis (RTP) – Einblick in den Zielkonflikt zwischen Modellsicherheit und Leistung.
5. Sicherheitskosten (CoS) – Die aktuellen Inferenzkosten im Verhältnis zum CASI des Modells zur Bewertung der finanziellen Auswirkungen der Sicherheit.

Die Rangliste des Comprehensive AI Security Index (CASI) auf F5 Labs.

Was ist der CASI-Score und warum ist er wichtig?

CASI ist eine Metrik, die entwickelt wurde, um die komplexe Frage zu beantworten: „Wie sicher ist mein Modell?“. Ein höherer CASI-Wert weist auf ein sichereres Modell bzw. eine sicherere Anwendung hin. Viele Studien zu Angriffen auf Modelle oder deren Red-Teaming stützen sich auf die Angriffserfolgsrate (Attack Success Rate, ASR). Diese Metrik berücksichtigt jedoch häufig nicht, wie unterschiedlich die Auswirkungen einzelner Angriffe sein können. Die herkömmliche ASR behandelt alle Angriffe als gleichwertig, was irreführend ist. So sollte beispielsweise ein Angriff, mit dem ein Fahrradschloss überwunden wird, nicht mit einem Angriff gleichgesetzt werden, durch den Startcodes für Atomwaffen kompromittiert werden. Ähnlich verhält es sich bei KI: Ein kleines, ungeschütztes Modell lässt sich möglicherweise bereits durch eine einfache Anfrage nach vertraulichen Informationen kompromittieren, während bei einem größeren Modell unter Umständen ausgefeilte Techniken erforderlich sind, etwa autonome und koordinierte agentenbasierte KI-Angreifer, um dessen Alignment zu überwinden. CASI bildet diese Nuancen ab, indem zwischen einfachen und komplexen Angriffen unterschieden und der Defensive Breaking Point (DBP) eines Modells ermittelt wird – also der Weg des geringsten Widerstands und die minimalen Rechenressourcen, die für einen erfolgreichen Angriff erforderlich sind.

Agentic Resistance Score (ARS): Stresstests für Modelle über CASI hinaus

Standardmäßige KI-Schwachstellenscans vermitteln einen grundlegenden Überblick über die Sicherheit eines Modells, kratzen jedoch nur an der Oberfläche, wenn es darum geht, zu verstehen, wie sich ein KI-System bei realen Angriffen verhalten könnte.

Um diese Lücke zu schließen, setzen wir auf F5 AI Red Team, eine hochentwickelte Red-Teaming-Technologie, die Schwärme autonomer KI-Agenten steuert, welche ein Team aus hartnäckigen, intelligenten Bedrohungsanalysten simulieren. Diese Agenten sondieren, lernen und passen sich an. Dabei führen sie mehrstufige Angriffe aus, um kritische Schwachstellen aufzudecken, die bei statischen Tests häufig unentdeckt bleiben.

Dieser umfassende Testprozess ergibt einen ARS, ein quantitatives Maß für die Widerstandsfähigkeit eines KI-Systems, das auf einer Skala von 0 bis 100 bewertet wird. Ein höherer ARS bedeutet, dass ein Angreifer raffinierter, hartnäckiger und besser informiert sein muss, um das System zu kompromittieren. Dieser vergleichbare Kennwert, der aus komplexen Angriffsszenarien abgeleitet wird, wird anhand von drei entscheidenden Kategorien berechnet:

• Erforderlicher Grad an Raffinesse – Welches Mindestmaß an Einfallsreichtum muss ein Angreifer aufbringen, um die KI zu überwinden? Hält das System fortschrittlichen, maßgeschneiderten Strategien stand oder fällt es einfacheren, gängigen Angriffen zum Opfer?
• Defensive Widerstandsfähigkeit – Wie lange kann das KI-System einem langwierigen, sich anpassenden Angriff standhalten? Bricht es bereits nach wenigen Interaktionen zusammen oder hält es anhaltenden, sich weiterentwickelnden Angriffen stand?
• Spionageabwehr – Trainiert die KI unbeabsichtigt ihre Angreifer? Dieser Vektor misst, ob ein fehlgeschlagener Angriff wichtige Informationen preisgibt, etwa über die Funktionsweise ihrer Filter, und dadurch unbeabsichtigt einen Wegweiser für künftige Angriffe liefert.

Was sind die neuesten Trends?

Unser Team bei F5 Labs hat eine detaillierte Analyse der neuesten Trends erstellt, die bei unseren Tests im September beobachtet wurden. Besuchen Sie uns jeden Monat erneut, um fundierte Einblicke in zunehmend verbreitete Techniken, Schwachstellen und Exploits zu erhalten und über die neuesten Trends im Bereich der KI-Sicherheit auf dem Laufenden zu bleiben.

Mit der Entwicklung der KI-Modelllandschaft Schritt halten

Die Angriffsfläche von KI wird sich weiterentwickeln, und F5 hat es sich zur Aufgabe gemacht, Unternehmen die nötigen Erkenntnisse an die Hand zu geben, damit sie ihre KI-Sicherheit entsprechend anpassen können. Wie jede neue Technologie wird auch KI stets ein gewisses Restrisiko bergen. Der erste Schritt zu umfassender KI-Sicherheit besteht darin, zu verstehen, wo Risiken bestehen. Die CASI Leaderboards werden auch weiterhin zu diesem Verständnis beitragen, während sich die Landschaft der KI-Modelle kontinuierlich verändert.

Möchten Sie weitere Einblicke gewinnen? Das gleiche agentenbasierte Red-Teaming, das wir zur Bewertung von Basismodellen einsetzen, lässt sich auch auf Ihre KI-Umgebung anwenden und individuell anpassen, um noch detailliertere Erkenntnisse zu gewinnen – mit F5 AI Red Team.

Über den Autor

Lee EnnisSenior Manager, Data Science | F5

Lee Ennis leitet das KI-Team für Data Science und Forschung bei F5. Sein Schwerpunkt liegt auf der Entwicklung fortschrittlicher KI-Sicherheitslösungen, die Unternehmen dabei unterstützen, große Sprachmodelle (LLMs) und generative KI-Systeme sicher bereitzustellen und zu überwachen. Sein Team vereint Fachwissen in den Bereichen maschinelles Lernen, adversariales Testen und Modellabsicherung, um Schwachstellen zu identifizieren und das Vertrauen in KI-gestützte Umgebungen zu stärken.

Weitere Blogbeiträge von Lee Ennis