LLM-Evaluierung: Vertrauen durch Sicherheitsbewertungen schaffen

Jessica BrennanSenior Product Marketing Manager, KI-Sicherheit | F5

Mit der zunehmenden Einführung von KI in Unternehmen geht es bei der Bewertung von LLMs nicht mehr nur um Leistung, sondern auch um Vertrauen. Sicherheitsteams müssen nicht nur prüfen, wie gut ein Modell funktioniert, sondern auch, wie sicher es sich verhält. Die meisten Bewertungsframeworks konzentrieren sich jedoch auf Benchmarks zur Genauigkeit, sodass Sicherheits- und Risikofaktoren nur vage definiert sind oder gar nicht gemessen werden.

Dieser Mangel an Klarheit ist gefährlich. Ohne nachvollziehbare, anhand von Benchmarks bewertbare Sicherheitsmetriken gibt es keine glaubwürdige Möglichkeit, Modelle zu vergleichen, ihre Widerstandsfähigkeit nachzuweisen oder risikobereinigte Entscheidungen darüber zu treffen, wie und wo KI eingesetzt werden sollte.

Bei F5 haben wir viele Monate lang mit Sicherheitsverantwortlichen in Unternehmen zusammengearbeitet, die immer wieder dieselbe Sorge geäußert haben: „Wir müssen internen Stakeholdern erklären können, was eine Bewertung bedeutet, wie sie zustande gekommen ist und was wir tun können, um sie zu verbessern.“

Dieser Beitrag zeigt, wie sich dieses Vertrauen aufbauen lässt, indem man die beiden sich ergänzenden Bewertungen versteht, die heute das Rückgrat der sicheren Bewertung generativer KI bilden: den Comprehensive AI Security Index (CASI) und den Agentic Resistance Score (ARS)-Wert.

Das Problem mit der heutigen „Bewertung“ von KI-Sicherheit

Wenn Unternehmen KI-Modelle testen, erhalten sie häufig entweder ein binäres Ergebnis: Hat das Modell versagt oder nicht? Oder eine vage Risikobewertung: niedrig/mittel/hoch, ohne nähere Details.

Keiner der beiden Ansätze ist tragfähig, sobald KI-Systeme produktiv eingesetzt werden und mit sensiblen Daten, externen Nutzern oder nachgelagerten Agenten interagieren.

Sicherheitsverantwortliche benötigen mehr als nur Erfolgsquoten von Angriffen – sie brauchen Einblick in:

• Schweregrad: Wie gefährlich ist ein erfolgreicher Angriff?
• Komplexität: Wie schwierig ist es, das Modell auszunutzen?
• Kontext: Versagt es beim Einsatz unter realen Bedingungen, in Dialogen mit mehreren Gesprächsrunden oder auf Anwendungsebene?

F5 entwickelte Bewertungssysteme, die verschiedene Ebenen der Sicherheit von KI-Systemen abdecken. Diese Systeme wurden an etablierten Sicherheitsrahmenwerken zur Bewertung von Unternehmensrisiken ausgerichtet.

Abstimmung der Bewertung auf Unternehmensrisiken

Branchenweite Rahmenwerke und Standards können Unternehmen dabei unterstützen, KI-Risiken zu bewerten, potenzielle Schwachstellen zu erkennen und einheitlichere Ansätze für Governance und Sicherheit zu etablieren. Beispiele hierfür sind die OWASP Top 10 for LLM Applications, das NIST AI Risk Management Framework und ISO/IEC 42001, die KI-Risiken jeweils aus einer anderen Perspektive betrachten.

OWASP Top 10 für LLM-Anwendungen

Die gemeinnützige Stiftung OWASP (Open Worldwide Application Security Project) veröffentlicht eine von Mitgliedern der Community bewertete Liste der „Top 10 der Bedrohungen für LLM-Anwendungen“. Die Rangfolge soll sowohl die Auswirkungen als auch die Wahrscheinlichkeit der Risiken widerspiegeln. Die Einschätzungen der Fachleute entsprechen jedoch nicht unbedingt der Häufigkeit tatsächlicher Angriffe. Obwohl Prompt Injection von Fachleuten als größtes Risiko für LLM-Anwendungen eingestuft wird, würde sie daher nicht zu den zehn häufigsten realen Sicherheitsvorfällen zählen.

NIST AI RMF

Im Jahr 2023 veröffentlichte das National Institute of Standards and Technology (NIST) der USA ein Rahmenwerk für das Risikomanagement bei künstlicher Intelligenz (AI RMF), das praktische Leitlinien für den Umgang mit Risiken im Zusammenhang mit KI bietet.

Im Rahmen seiner Best Practices für das Risikomanagement bewertet das Rahmenwerk das Verhalten von Modellen anhand der Merkmale „vertrauenswürdiger“ KI und verschiedener Dimensionen von „Schaden“. Ein KI-System könnte beispielsweise als riskant gelten, wenn es keine präzisen, unverzerrten Ergebnisse liefert (zwei von sieben Kriterien für Vertrauenswürdigkeit) und wenn die Wahrscheinlichkeit besteht, dass es Einzelpersonen, Organisationen oder der Gesellschaft schadet (alle drei Schadensdimensionen). Unterschiedliche Grade an Vertrauenswürdigkeit und Schaden erfordern unterschiedliche Maßnahmen.

ISO/IEC 42001:2023

Die Internationale Organisation für Normung (ISO) und die Internationale Elektrotechnische Kommission (IEC) haben gemeinsam eine Norm für das verantwortungsvolle Management von KI-Systemen veröffentlicht, die sich auf Governance, Rechenschaftspflicht und operative Kontrollen auf Unternehmensebene konzentriert. Bei der Risikobewertung empfiehlt die Norm Organisationen zu untersuchen, wie sich Schwachstellen von KI-Systemen, ethisches Fehlverhalten oder betriebliche Fehler auf Unternehmensziele, die Sicherheit oder gesellschaftliche Verpflichtungen auswirken könnten. Organisationen sollten die Wahrscheinlichkeit und die Auswirkungen von Risiken anhand einer Bewertungsskala von eins bis fünf beurteilen. Ein Risiko, das wahrscheinlich keinen technischen Ausfall verursacht, würde eine niedrige Bewertung erhalten, während ein Risiko, das zu einem Compliance-Verstoß führen könnte, hoch bewertet würde. Das so berechnete Gesamtrisiko würde anschließend mit den Risikoakzeptanzkriterien der Organisation abgeglichen.

Wichtig ist, dass keines dieser drei Frameworks eine binäre Bewertung nach dem Prinzip „bestanden/nicht bestanden“ vorsieht. Stattdessen bewerten sie alle den potenziellen Schweregrad von Risiken und deren Auswirkungen. Ebenso bewertet F5 LLMs differenziert, sodass Führungskräfte Modelle und deren Widerstandsfähigkeit gegenüber Bedrohungen genauer vergleichen können.

CASI: Die Sicherheits-DNA eines Modells

Der Comprehensive AI Security Index (CASI) hilft Teams, ihren Prozess zur LLM-Evaluierung durch die Messung weiterer Faktoren neben dem Erfolg von Jailbreaks um fundierte Sicherheitsprüfungen zu ergänzen. CASI bewertet Basismodelle auf einer Skala von 0 bis 100 und berücksichtigt dabei:

• Schwere der Auswirkungen: Nicht alle Fehler sind gleich schwerwiegend. Die Offenlegung von Zugangsdaten ist schlimmer als die Beantwortung von Wissensfragen.
• Angriffskomplexität: Modelle, die sich durch einfache Formulierungen aushebeln lassen, sind weniger sicher als solche, die ausgefeilte Angriffsstrategien erfordern.
• Defensiver Kipppunkt: Wie schnell und unter welchen Bedingungen bricht die Ausrichtung eines Modells zusammen?

So können Sicherheitsteams Modelle mit hoher Widerstandsfähigkeit auswählen und nicht nur solche, die einfache Tests bestehen.

So erzielte beispielsweise Alibabas Qwen3 bei CASI ein konkurrenzfähiges Ergebnis, was auf starke Schutzmechanismen auf Modellebene hindeutet. Bei Tests mit agentenbasierten Methoden konnte es jedoch ausgefeilteren, hartnäckigen Angriffen nicht standhalten. Dies verdeutlicht die Grenzen einer rein modellbezogenen Bewertung.

Diese Ergebnisse werden veröffentlicht auf F5 Labs, einer regelmäßig aktualisierten, öffentlich zugänglichen Ressource, die die am häufigsten verwendeten LLMs anhand praxisnaher Red-Teaming-Tests bewertet. Im Gegensatz zu herkömmlichen Leistungsvergleichen hilft diese Rangliste Unternehmen dabei, Modelle hinsichtlich Sicherheit, Risiko, Kosten und Resilienz auf Systemebene zu vergleichen, und ist damit ein unverzichtbares Instrument für eine fundierte Bewertung von LLMs.

ARS: Wenn Modelle zu Systemen werden

Während CASI die Resilienz des zugrunde liegenden Modells misst, berücksichtigt es nicht das Verhalten auf Systemebene. Hier kommt der Agentic Resistance Score (ARS) ins Spiel.

Der ARS misst, wie widerstandsfähig ein KI-System (einschließlich aller Agenten, Retrieval-Tools oder Orchestrierungsebenen) gegenüber anhaltenden, adaptiven Angriffen ist. Diese Tests werden von autonomen gegnerischen Agenten durchgeführt, die:

• Aus fehlgeschlagenen Versuchen lernen
• Verkette Angriffe über mehrere Züge hinweg
• Verborgene Prompts, Vektorspeicher und Abruflogik ins Visier nehmen

ARS wird auf einer Skala von 0 bis 100 bewertet und basiert auf drei Dimensionen:

1. Erforderliches Fachwissen: Wie versiert muss der Angreifer sein?
2. Widerstandsfähigkeit der Abwehr: Wie lange kann das System standhalten?
3. Gegenaufklärung: Gibt das System nützliche Hinweise für weitere Angriffe preis, selbst wenn es die ursprüngliche Bedrohung abwehrt?

Ein höherer ARS-Wert bedeutet, dass Ihr KI-System nicht nur für sich genommen sicher ist. Es kann kontextbezogenen, agentenbasierten Angriffen standhalten, die nachahmen, was reale Bedrohungsakteure bereits unter realen Bedingungen erproben.

Widerstandsfähigkeit gegen reale Sicherheitslücken

Sowohl das CASI- als auch das ARS-Modell untersuchen die Widerstandsfähigkeit gegenüber realen Bedrohungen. Während CASI die Widerstandsfähigkeit gegenüber Bedrohungen wie Prompt-Injection- oder Jailbreak-Angriffen misst, bewertet ARS die Widerstandsfähigkeit gegenüber mehrstufigen Angriffen, etwa wenn Agenten dazu verleitet werden, ohne ordnungsgemäße Autorisierung Aktionen auszuführen.

Diese Bewertungen, die in monatlichen Bestenlisten veröffentlicht werden, spiegeln die neuesten Aktualisierungen der Modelle wider. So erschien Claude Fable 5 von Anthropic erstmals im August 2026 in der Bestenliste, nachdem das Unternehmen eine schwerwiegende Jailbreak-Sicherheitslücke behoben hatte.

Bei Jailbreak-Angriffen, einer Form der Prompt-Injection, wird ein Modell so manipuliert, dass es gegen seine eigenen Sicherheitsprotokolle verstößt. Als Anthropic Claude Fable 5 im Juni 2026 erstmals veröffentlichte, stellten Forschende schnell fest, dass sich das Modell per Jailbreak manipulieren ließ. Anthropic setzte das Modell vorübergehend aus, um seinen Sicherheitsklassifikator neu zu trainieren. Diese Maßnahme war erfolgreich: Die von den Forschenden beschriebene Technik wurde anschließend in über 99 % der Fälle blockiert. Infolgedessen belegte das Modell ab August einen Spitzenplatz in der CASI-Bestenliste und erzielte im September eine Bewertung von 98,03.

Natürlich garantieren neue Updates keine höhere Widerstandsfähigkeit gegen Bedrohungen. Grok 4.3 von xAI erreichte einen CASI-Wert von 70,28. Grok 4.5 fiel jedoch auf 45,20 zurück, obwohl der Leistungswert der neuen Version stieg.

Warum Sicherheitsverantwortliche CASI und ARS benötigen

Sicherheitsverantwortliche, die KI-Implementierungen bewerten, insbesondere solche mit RAG-Architekturen, autonomen Agenten oder komplexen Orchestrierungsworkflows, benötigen eine mehrschichtige Betrachtung der Vertrauenswürdigkeit. CASI hilft bei der Wahl einer Grundlage. Es zeigt, ob die integrierten Schutzmechanismen eines Modells robust genug für Anwendungen auf Unternehmensniveau sind. ARS validiert Ihre Implementierung. Es zeigt, ob Ihre benutzerdefinierten Workflows oder integrierten Systeme neue Schwachstellen mit sich bringen, selbst wenn das Basismodell gut abschneidet.

Transparenz schafft Handlungsfähigkeit

Eine Bewertung ist nur dann sinnvoll, wenn sie als Entscheidungsgrundlage dient. Sicherheitsverantwortliche sagen uns, dass sie Folgendes benötigen:

• Nachvollziehbare Bewertungsmethoden zur Weitergabe an Risikoausschüsse und Produktteams.
• Klare, numerische Indikatoren für Benchmarking, Fortschrittsverfolgung und kontinuierliche Verbesserung.
• Anwendungsbezogenes Red-Teaming zur Aufdeckung von Schwachstellen auf Systemebene (nicht nur von Modellschwächen).

Deshalb veröffentlichen wir Bewertungsmethoden, stellen Protokolle auf Prompt-Ebene in Red-Teaming-Berichten bereit und unterstützen kontinuierliche Sicherheitstests sowohl für Modelle als auch für KI-Systeme.

Vertrauen in KI entsteht nicht durch vage Zusicherungen, sondern durch Bewertungen, die reale Risiken widerspiegeln, Tests, die reale Bedrohungen abbilden, und Berichte, die zu echten Verbesserungen führen.

Vertrauen wird aufgebaut, nicht behauptet

KI ist nur so vertrauenswürdig wie der Prozess, mit dem sie bewertet und überwacht wird. Eine transparente Sicherheitsbewertung sowohl auf Modell- als auch auf Systemebene liefert Sicherheitsteams die gemeinsame Sprache, die Nachweise und das nötige Vertrauen, um generative KI sicher einzusetzen.

Und für Unternehmen, die in regulierten Branchen oder Hochrisikobereichen tätig sind oder KI-Agenten mit direktem Nutzerkontakt einsetzen, ist dieses Vertrauen unverzichtbar.

Häufig gestellte Fragen

Was ist eine KI-Sicherheitsplattform und warum reicht herkömmliche Cybersicherheit zum Schutz von KI-Systemen nicht aus?

Standardlösungen für Cybersicherheit können Daten, Anwendungen und Netzwerke wirksam schützen. Sie sind jedoch nicht auf die besonderen Bedrohungen ausgelegt, denen KI-Systeme und -Agenten ausgesetzt sind. Eine KI-Sicherheitsplattform bietet spezielle Funktionen, um KI-Anwendungen, -Dienste, -Modelle und -Agenten vor unbefugtem Zugriff, Manipulation, böswilligen Angriffen und anderen Bedrohungen zu schützen.

Wie lassen sich Sicherheitsbewertungsmodelle wie CASI und ARS mit Frameworks wie dem NIST AI RMF in Einklang bringen?

Frameworks wie das Artificial Intelligence Risk Management Framework (AI RMF) des US-amerikanischen National Institute of Standards and Technology (NIST) bieten Leitlinien für die Bewertung und das Management von KI-Risiken und Vertrauenswürdigkeit. Ebenso stellen der F5 Comprehensive AI Security Index (CASI) und der Agentic Resistance Score (ARS) quantitative Sicherheitskennzahlen bereit, mit denen Unternehmen die Widerstandsfähigkeit von Modellen und Systemen bewerten können.

Was ist der Unterschied zwischen der Absicherung eines KI-Modells und der Absicherung eines KI-Systems?

Die Absicherung eines KI-Modells trägt dazu bei, dass das Modell keine ungenauen oder schädlichen Antworten erzeugt, die durch Datenvergiftung, direkte Prompt-Injections oder andere böswillige Handlungen verursacht werden könnten. Bei der Absicherung eines KI-Systems geht es darum, nicht nur das Modell selbst zu schützen, sondern auch alle damit verbundenen Komponenten, etwa die Benutzeroberfläche, eine Vektordatenbank oder externe API-Integrationen. Dabei kann der Schwerpunkt auf der Verhinderung indirekter Prompt-Injections, der Übernahme von APIs, der Ausschleusung von Daten oder Angriffen zur Ausweitung von Berechtigungen liegen.

Wie verhindern Laufzeit-Schutzmechanismen Datenlecks und Prompt-Injection?

Laufzeit-Guardrails verhindern Datenlecks und Prompt-Injection, indem sie KI-Interaktionen während Benutzer-, Agenten- und API-Aktivitäten in Echtzeit überprüfen und absichern. Sie können Datenlecks und Prompt-Injection verhindern, indem sie sowohl eingehende Prompts als auch ausgehende Antworten überprüfen. Guardrails blockieren Prompt-Injection-Versuche und stellen sicher, dass keine sensiblen Daten in das Modell gelangen oder es verlassen.

Warum reicht die Bewertung des zugrunde liegenden LLM für RAG- und agentenbasierte KI-Architekturen nicht aus?

Die Evaluierung großer Sprachmodelle (Large Language Models, LLMs) ist entscheidend, um Unternehmen beim Aufbau einer KI-Grundlage zu unterstützen. Sie müssen jedoch auch wissen, wie sich diese Modelle in Systemen verhalten, die Retrieval-Augmented Generation (RAG) und autonome Agenten einsetzen. Ein Framework wie der F5 Agentic Resistance Score (ARS) ermöglicht es Unternehmen, besser einzuschätzen, ob benutzerdefinierte Workflows oder integrierte Systeme neue Schwachstellen schaffen.

Über den Autor

Jessica BrennanSenior Product Marketing Manager, KI-Sicherheit | F5

Weitere Blogbeiträge von Jessica Brennan