Die CASI-Bestenliste

Die Akzeptanz von KI nimmt schneller zu als bei jeder anderen Technologie zuvor. 

Was mit einigen wenigen großen Modellen und Anbietern begann, hat sich zu einem riesigen Ökosystem aus Open-Source- und kommerziellen KI-Modellen entwickelt, jedes mit seinen eigenen Vorteilen und Risiken. Angesichts der Millionen von Modellen, aus denen sie wählen können, benötigen Unternehmen, die KI einsetzen, transparente Einblicke in die Risiken , die genau zeigen, welche Bedrohungen jedes Modell für ihre Umgebung mit sich bringt .

Nach der Übernahme von CalypsoAI durch F5 stellen wir Ihnen mit dem Comprehensive AI Security Index (CASI) Leaderboard ein Tool vor, das KI- und GRC-Verantwortlichen tiefgehende Einblicke in die unterschiedlichen Risikoprofile der führenden KI-Modelle bietet. CalypsoAI, seit 2018 ein Vorreiter in der KI-Sicherheitsforschung, hat eine der umfangreichsten Bibliotheken für KI-Sicherheitslücken aufgebaut und erweitert sie monatlich um über 10.000 neue Angriffsszenarien. Darauf aufbauend bewertet das Leaderboard die Sicherheit von Basismodellen und KI-Systemen umfassend und richtet den Fokus auf die populärsten sowie von unseren Kunden eingesetzten Modelle. 

CASI ist eine Metrik, mit der Sie die komplexe Frage beantworten können: „Wie sicher ist mein Modell?“. Ein höherer CASI-Wert zeigt Ihnen ein sichereres Modell oder eine sicherere Anwendung an. Viele Untersuchungen zu Angriffs- und Red-Teaming-Methoden stützen sich auf die Angriffserfolgsrate (ASR), doch diese Kennzahl berücksichtigt oft nicht die unterschiedlichen Auswirkungen einzelner Angriffe. Das traditionelle ASR behandelt alle Angriffe gleich, was Sie in die Irre führt. Ein Angriff, der ein Fahrradschloss knackt, lässt sich nicht mit einem Angriff vergleichen, der die Codes für den Start von Atomwaffen kompromittiert. Ähnlich ist es bei KI: Ein kleines, ungeschütztes Modell lässt sich mit einer einfachen Anfrage nach vertraulichen Daten leicht angreifen, während ein größeres Modell ausgefeilte Methoden wie autonome, koordinierte KI-Agenten benötigt, damit seine Ausrichtung durchbrochen wird. CASI berücksichtigt diese Feinheit, indem es einfache und komplexe Angriffe voneinander abgrenzt und den Defensive Breaking Point (DBP) eines Modells ermittelt: den Weg mit dem geringsten Widerstand und dem geringsten erforderlichen Rechenaufwand, um einen Angriff erfolgreich durchzuführen.

Standardmäßige KI-Schwachstellenscans geben Ihnen eine Basisübersicht über die Sicherheit des Modells, doch sie reichen kaum aus, um nachzuvollziehen, wie sich ein KI-System bei echten Angriffen verhält. 

Um diese Lücke zu schließen, setzen wir F5 AI Red Team ein – eine ausgeklügelte Red-Teaming-Technologie, die Schwärme autonomer KI-Agenten steuert und ein Team aus engagierten, intelligenten Bedrohungsanalysten simuliert. Diese Agenten testen, lernen und passen sich an, indem sie mehrstufige Angriffe durchführen, um kritische Schwachstellen aufzudecken, die statische Tests häufig übersehen.

Dieses sorgfältige Testverfahren liefert den AWR-Score, eine quantitative Kennzahl zur Verteidigungsstärke eines KI-Systems, bewertet auf einer Skala von 0 bis 100. Ein höherer AWR-Score zeigt Ihnen, dass ein erfahrenerer, ausdauernderer und besser informierter Angreifer nötig ist, um das System zu kompromittieren. Diese messbare Größe, basierend auf komplexen Angriffsszenarien, wird in drei wesentlichen Kategorien berechnet:

• Erforderliche Raffinesse – Welches Mindestmaß an Einfallsreichtum braucht ein Angreifer, um die KI zu überwinden? Hält das System fortgeschrittenen, gezielten Strategien stand oder fällt es auf einfachere, häufige Angriffe herein?
• Defensive Ausdauer – Wie lange hält das KI-System einem langanhaltenden, adaptiven Angriff stand? Bricht es nach wenigen Versuchen zusammen oder widersteht es konsequent hartnäckigen, sich wandelnden Attacken?
• Spionageabwehr – Trainiert die KI ihre Angreifer unfreiwillig? Wir prüfen, ob ein gescheiterter Angriff sensible Details wie die Filtermethoden offenlegt und damit unbeabsichtigt Angreifern eine Anleitung für künftige Attacken liefert.

Unser Team bei F5 Labs liefert eine umfassende Analyse der neuesten Trends, die wir bei unseren Tests im September festgestellt haben. Um fundierte Einblicke in die aufkommenden Techniken, Schwachstellen und Exploits zu erhalten, besuchen Sie uns jeden Monat erneut und bleiben Sie über die aktuellen Entwicklungen in der KI-Sicherheit informiert.