Was ist ein KI-Jailbreak-Angriff?

Ein bösartiger Angriff, der darauf abzielt, die integrierten Schutzmechanismen eines KI-Systems zu umgehen, um das System dazu zu bringen, Handlungen auszuführen oder Inhalte zu erzeugen, die es unter normalen Umständen nicht ausführen bzw. erzeugen würde

Ein Jailbreak-Angriff ist eine böswillige Angriffsmethode, die darauf abzielt, die integrierten Schutzmechanismen eines KI-Systems zu umgehen. Ziel ist es, das System dazu zu bringen, fehlerhafte oder schädliche Ausgaben zu erzeugen oder unbefugte Aktionen auszuführen. Jailbreaking ist eine Form der Prompt-Injection, die speziell darauf ausgelegt ist, die Sicherheitskontrollen eines Modells zu umgehen. Prompt-Injection hingegen bezeichnet im weiteren Sinne die Manipulation des Modellverhaltens durch böswillige oder nicht vertrauenswürdige Anweisungen.

Gängige Jailbreak-Techniken und Angriffsvektoren

Angreifer nutzen verschiedene Techniken und Angriffsvektoren, um KI-Modelle zu jailbreaken. Dies sind die gängigsten Ansätze:

Rollenspiel und Manipulation der Persona: Mithilfe eines Prompts weisen Angreifer das KI-Modell an, eine Persona anzunehmen, die integrierte Schutzmechanismen außer Acht lässt. Beispielsweise haben Angreifer Modelle angewiesen, die Persona „DAN“ („do anything now“, auf Deutsch: „Tu jetzt alles“) anzunehmen, die möglicherweise unzensierte Antworten auf Prompts liefert. Ebenso wurde die Persona „AIM“ („always intelligent and Machiavellian“, auf Deutsch: „stets intelligent und machiavellistisch“) verwendet, um amoralische Antworten zu erzeugen, die ethische Grenzen überschreiten.

Verschleierung und Kodierung: Bei dieser Jailbreak-Technik wird versucht, eine schädliche Nutzlast in ein Format umzuwandeln, das textbasierte Sicherheitsfilter oder Klassifikatoren umgeht. Angreifer haben anstelle natürlicher Sprache Base64-Code, Chiffren (die mithilfe von Algorithmen normale Inhalte verschieben oder ersetzen), unsichtbare Zeichen und Zeichen aus anderen Alphabeten verwendet. Diese Änderungen können von den Modellen dekodiert und gelesen werden, nicht jedoch von deren Sicherheitsfiltern.

Erzwingen einer zustimmenden Antwort: Diese auch als Präfix-Injektion oder erzwungene Vervollständigung bezeichnete Technik zwingt ein Modell dazu, jede Antwort mit einer zustimmenden Aussage zu beginnen, etwa: „Klar, dabei kann ich helfen!“ Sobald das Modell diese Antwort erzeugt hat, steigt aufgrund seines probabilistischen Ansatzes die Wahrscheinlichkeit, dass es nachfolgende Anfragen ausführt – selbst solche, die es normalerweise ablehnen würde.

Kontextüberflutung: Bei dieser Technik, die manchmal auch als Context Stuffing oder Aufmerksamkeitssättigung bezeichnet wird, fügen Angreifer ihrem Prompt große Mengen harmlosen Textes oder zufälliger Daten hinzu. Umfangreicher zusätzlicher Kontext kann den Einfluss vorheriger Anweisungen abschwächen oder beeinträchtigen, sodass es für ein Modell möglicherweise schwieriger wird, seine Sicherheitsvorgaben konsequent einzuhalten.

Die Entwicklung der Bedrohung

Anfangs waren große Sprachmodelle (Large Language Models, LLMs) die Hauptziele von KI-Jailbreaking, und die schädlichen Auswirkungen beschränkten sich weitgehend auf unangemessene Textantworten. Da Unternehmen jedoch zunehmend KI-Agenten einsetzen, um eine Vielzahl von Aufgaben autonom zu erledigen, haben Angreifer ihren Fokus auf diese Agenten verlagert.

Das Jailbreaking von KI-Agenten kann schwerwiegende Folgen für Unternehmen haben. Manipulierte Agenten mit API-Zugriff könnten beispielsweise sensible Daten ausschleusen, Datenbankdateien löschen, betrügerische Finanztransaktionen ausführen, Phishing-Nachrichten über Unternehmenskonten versenden oder kritische Systeme zum Absturz bringen.

Angreifer setzen selbst KI ein, um Schwachstellen in Agenten zu finden und so ihre Erfolgschancen beim Jailbreaking zu erhöhen. Beispielsweise nutzen sie Large Reasoning Models (LRMs), um Schwachstellen aufzudecken. Anschließend können sie automatisierte, von diesen LRMs unterstützte Red-Teaming-Agenten einsetzen, um Agenten kontinuierlich auf Schwachstellen zu testen.

Warum herkömmliche Sicherheitsmaßnahmen nicht ausreichen

Herkömmliche Sicherheitslösungen wie Web Application Firewalls (WAFs) reichen aus zwei wesentlichen Gründen nicht aus, um KI-Jailbreaks zu verhindern. Erstens untersuchen WAFs strukturierte Daten und Code auf bekannte Bedrohungsmuster. Bei Jailbreaks verwenden Angreifer jedoch natürlichsprachliche Prompts, um Modelle und Agenten zur Ausführung von Aktionen zu bewegen. WAFs können die Bedeutung dieser natürlichen Sprache nicht erfassen. Darüber hinaus prüfen WAFs in erster Linie den HTTP-Anwendungsdatenverkehr und haben keinen Einblick in sämtliche Inhaltsquellen, aus denen ein KI-System Daten aufnehmen kann.

So schützen Sie KI-Anwendungen und -Agenten

Der Schutz von KI-Anwendungen und -Agenten vor Jailbreaking erfordert eine mehrschichtige Strategie. Vier grundlegende Maßnahmen können dabei helfen, eine solche Strategie zu entwickeln:

1. Implementieren Sie zweifache Schutzmechanismen (für Ein- und Ausgabe): Eingabeschutzmechanismen können Prompts auf Verschleierung und Kodierung prüfen und Rollenspielversuche herausfiltern. Ausgabeschutzmechanismen können hingegen generierte Ausgaben prüfen, bevor sie die Benutzer erreichen und bevor das Modell API-Aufrufe ausführt. Dabei kann beispielsweise nach Hassrede, Datenlecks und unbefugten Tool-Aufrufen gesucht werden.

2. Setzen Sie Wächter- oder Moderationsmodelle ein: Anstatt ein Modell seine eigene Sicherheit bewerten zu lassen, können Unternehmen schlanke „Wächter-“ oder Moderationsmodelle einsetzen, die speziell für Klassifizierungsaufgaben entwickelt wurden. Durch die Prüfung sowohl der Eingaben als auch der Ausgaben können diese Modelle Versuche erkennen, Prompts zu manipulieren, und feststellen, ob generierte Ausgaben gegen Unternehmensrichtlinien verstoßen (etwa gegen Richtlinien zu Hassrede oder Belästigung).

3. Systemtreue von Prompts sicherstellen: Die Systemtreue von Prompts beschreibt, inwieweit Prompts die Systemanweisungen befolgen, ohne davon abzuweichen oder durch andere Anweisungen außer Kraft gesetzt zu werden. Unternehmen können die Systemtreue von Prompts durch verschiedene Maßnahmen sicherstellen, etwa indem sie zentrale Systemanweisungen während der Benutzerinteraktionen wiederholen (um einer Überflutung des Kontexts entgegenzuwirken) und die Anweisungshierarchie durch Feinabstimmung optimieren. So wird gewährleistet, dass das Modell Benutzerbefehle zurückweist, die es zum Ignorieren der Systemanweisungen auffordern.

4. API-Zugriff für Agenten nach dem Prinzip der geringsten Rechte: Durch Jailbreaking manipulierte KI-Agenten können Unternehmen erheblichen Schaden zufügen, insbesondere wenn diese Agenten mit kritischen Systemen verbunden sind. Unternehmen können den potenziellen Schaden durch das Jailbreaking von Agenten begrenzen, indem sie den API-Zugriff nach dem Prinzip der geringsten Rechte gestalten. Agenten sollten nur auf bestimmte APIs zugreifen können, die sie zur Erfüllung ihrer Aufgaben benötigen.

Häufig gestellte Fragen

Warum lehnen KI-Modelle harmlose Fragen ab (und erzeugen dadurch „falsch positive Ergebnisse“)?

KI-Modelle weigern sich manchmal, harmlose Fragen von Nutzern zu beantworten. Solche Ablehnungen werden als „falsch positive Ergebnisse“ oder „übermäßige Ablehnung“ bezeichnet. Der Prompt enthält möglicherweise Schlüsselwörter, die in anderen Kontexten auf eine Gefahr hindeuten, oder Formulierungen, die einen Jailbreak-Versuch vermuten lassen (etwa die Aufforderung an das Modell, eine bestimmte Rolle anzunehmen). Es kann auch sein, dass das Modell zu dem Schluss kommt, seine Antwort würde wahrscheinlich zu einer schädlichen Anfrage führen, was schlimmer wäre, als die Antwort zu verweigern.

Wie kann das Rollenspiel mit Charakteren Sicherheitsvorkehrungen austricksen?

Charakter-Rollenspiele umgehen Sicherheitsvorkehrungen, indem sie böswillige Absichten in einem scheinbar harmlosen Kontext verbergen. Wenn die Sicherheitsvorkehrungen den Prompt lediglich als kreative Übung einstufen, erkennen sie ihn nicht als schädlich. Gleichzeitig setzt das Modell seine Ressourcen dafür ein, der Aufforderung zur Übernahme einer Rolle nachzukommen, und konzentriert sich weniger auf die Durchsetzung der Sicherheitsregeln.

Was ist der Unterschied zwischen einem „DAN“-Prompt und einem universellen Jailbreak?

Der berüchtigte „DAN“-Prompt bezeichnet eine Rollenspieltechnik, bei der ein Modell angewiesen wird, eine Persona anzunehmen, die Sicherheitsregeln ignoriert („do anything now“, also „jetzt alles tun“) und den Anweisungen des Nutzers einfach Folge leistet. Bei einem universellen Jailbreak-Angriff wird mithilfe eines Computeralgorithmus eine Zeichenfolge erstellt, die, wenn sie einem beliebigen Prompt hinzugefügt wird, die Sicherheitsregeln des Modells außer Kraft setzt.

Welche rechtlichen Risiken und Haftungsfragen sind mit dem Jailbreaking von KI-Systemen verbunden?

Das Jailbreaking von KI-Systemen kann für die Organisationen, die diese Systeme betreiben, vielfältige Risiken und Haftungsfolgen mit sich bringen. So könnte Jailbreaking beispielsweise zur Offenlegung sensibler Kundendaten, zur Verbreitung von Falschinformationen, zu Compliance-Verstößen oder zu verschiedenen rechtswidrigen Handlungen autonomer Agenten führen. Den Organisationen könnten Bußgelder von Aufsichtsbehörden, Klagen und sogar strafrechtliche Konsequenzen drohen.

Können API-Sicherheitseinstellungen Jailbreak-Versuche vollständig verhindern?

Nein, API-Sicherheitseinstellungen können Jailbreak-Versuche nicht vollständig verhindern. Angreifer können API-Filter mithilfe von Base64-Kodierung oder ähnlichen Verschleierungstechniken umgehen. Außerdem erkennen API-Filter häufig keine Anweisungen, die als gewöhnlicher Text getarnt sind. Darüber hinaus können indirekte Jailbreak-Versuche, die in Inhalten von Drittanbietern verborgen sind, besonders schwer zu erkennen sein und zusätzliche Kontrollen für externe oder abgerufene Inhalte erfordern.

Wie sichern Sie KI-Systeme und -Anwendungen während der Inferenz und zur Laufzeit ab?

Die Absicherung von KI-Systemen während der Inferenz und zur Laufzeit erfordert Kontrollen, die Eingabeaufforderungen, Antworten, Agentenaktionen und die Nutzung von Tools während der Interaktionen überprüfen. Eine KI-spezifische Laufzeitsicherheit kann dazu beitragen, Prompt-Injection-Angriffe zu blockieren, die Offenlegung sensibler Daten zu verhindern, Richtlinien durchzusetzen und zu steuern, wie Modelle und Agenten mit Benutzern, Daten, APIs und verbundenen Tools interagieren.

Welche F5-Funktionen unterstützen die KI-Sicherheit in Unternehmen?

F5 AI Guardrails hilft bei der Durchsetzung von Laufzeitrichtlinien und schützt vor Risiken wie Prompt-Injection, Datenlecks, schädlichen Ausgaben und unsicheren Agentenaktionen. F5 AI Red Team nutzt Angriffssimulationen, um Schwachstellen und Sicherheitslücken zu erkennen, bevor Angreifer sie finden. F5 AI Gateway bietet einen zentralen Kontrollpunkt zur Steuerung des Zugriffs auf Modelle, Agenten und Tools, während F5 Workforce AI Security Transparenz über die genehmigte und nicht genehmigte KI-Nutzung im gesamten Unternehmen schafft. Zusammen bilden diese Funktionen einen Teil der F5 AI Security Platform. Für einen umfassenderen Schutz von Anwendungen, APIs und verteilten Umgebungen vereint die F5 Application Delivery and Security Platform (ADSP) zudem Funktionen wie den Schutz von Webanwendungen und APIs, Bot-Management, DDoS-Abwehr und Anwendungsbereitstellung.