Was ist ein Prompt-Injection-Angriff?
Bei einem Prompt-Injection-Angriff sendet ein Angreifer schädliche Eingaben an ein großes Sprachmodell (Large Language Model, LLM), um das Modell dazu zu bringen, auf unbeabsichtigte Weise zu antworten oder sich entsprechend zu verhalten. Die Eingabe enthält häufig Befehle, mit denen versucht wird, die Sicherheitsrichtlinien und Systemanweisungen des Modells außer Kraft zu setzen. Angreifer können schädliche Eingaben direkt (über einen Prompt) oder indirekt (durch das Einbetten von Befehlen in Materialien, die vom Modell verarbeitet werden) übermitteln.
So funktioniert Prompt Injection
Prompt Injection nutzt die Funktionsweise von LLMs aus. Diese Modelle wurden so konzipiert, dass Entwickler ihnen Aufgaben in natürlicher Sprache vorgeben können. Diese Fähigkeit bedeutet jedoch auch, dass sie Anweisungen nicht zuverlässig von anderen Benutzereingaben unterscheiden können, wenn beides gemeinsam übermittelt wird. Dadurch können Angreifer schädliche Befehle in Texte einbetten, die das Modell verarbeitet. Ohne geeignete Schutzmechanismen kann das Modell diesen schädlichen Anweisungen folgen.
Direkte vs. indirekte Prompt-Injection
Angreifer könnten direkte oder indirekte Prompt-Injection-Angriffe durchführen. Beide Taktiken zielen zwar auf die Manipulation von Modellen ab, unterscheiden sich jedoch darin, wie die schädlichen Befehle an das Modell übermittelt werden.
Bei einer direkten Prompt-Injection fügt der Angreifer Befehle in den Prompt eines Modells ein. Beispielsweise könnte er die Benutzeroberfläche eines KI-gestützten Chatbots oder einer Suchmaschine verwenden und dem Modell einfach Befehle in natürlicher Sprache eingeben. Um diese Eingabe zu verschleiern, könnte der Angreifer ein Rollenspiel einsetzen (indem er das Modell anweist, eine Persona anzunehmen, für die die Sicherheitsregeln nicht gelten) oder hypothetische Szenarien darstellen (sodass es den Anschein hat, als hätte die Interaktion keine realen Konsequenzen).
Ist der Versuch erfolgreich, treten die Auswirkungen unmittelbar ein. Die vom Angreifer beabsichtigten Aktionen oder Ausgaben erfolgen, sobald der Prompt übermittelt wird.
Bei einer indirekten Prompt-Injection bettet ein Angreifer Befehle oder Inhalte in Material ein, das von einem KI-Modell aufgenommen wird. Dabei kann es sich um Webseiten, hochgeladene PDF-Dokumente, E-Mails oder in einer Datenbank gespeicherte Dateien handeln. Der Angreifer könnte die Schadlast in unsichtbarem Text (weiß auf weiß), HTML-Kommentaren oder Metadaten verbergen. Wenn ein Modell oder Agent das Material aufnimmt, kann es bzw. er legitime Eingaben nicht von Befehlen unterscheiden und führt die Befehle aus.
Anders als bei einer direkten Prompt-Injection treten die Auswirkungen indirekter Angriffe verzögert und nur unter bestimmten Bedingungen ein. Sie machen sich erst bemerkbar, wenn ein Benutzer oder ein autonomer Prozess das Modell oder den Agenten dazu veranlasst, die Daten aufzunehmen. Beispielsweise könnte ein Angreifer eine Datei verändern, die in einer für Retrieval-Augmented Generation (RAG) verwendeten Vektordatenbank gespeichert ist. Die Befehle werden erst ausgeführt, wenn ein Benutzer einen Prompt eingibt, der den Abrufprozess startet.
Häufige Angriffsarten
Angreifer können je nach ihren Zielen und den Arten von KI-Systemen, auf die sie treffen, verschiedene Prompt-Injection-Taktiken einsetzen. Hier sind drei der häufigsten Angriffsarten:
Jailbreaking: Ein Angriff, der darauf abzielt, das KI-Modell dazu zu bringen, seine Sicherheitsregeln zu ignorieren. Der Angreifer kann fiktive Szenarien verwenden oder das Modell anweisen, eine Rolle anzunehmen, die nicht durch bestehende Richtlinien eingeschränkt ist. Beim Jailbreaking geben Angreifer ihre Anweisungen in der Regel direkt in die Prompts des Modells ein. Die Ziele können von der Erzeugung unzutreffender Antworten bis hin zur Preisgabe vertraulicher Informationen reichen.
Prompt-Leaking: Der Versuch, vertrauliche Informationen offenzulegen, auf die das KI-System zugreifen kann, etwa Entwickler-Prompts, Betriebslogik, geistiges Eigentum oder unzureichend geschützte Zugangsdaten. In einem Prompt könnte der Angreifer das Modell anweisen, Systemanweisungen auszugeben oder Text einzubeziehen, der vor der aktuellen Unterhaltung verarbeitet wurde.
Token-Schmuggel: Ein Versuch, schädliche Befehle am vorgeschalteten Sicherheitsfilter einer KI-Anwendung vorbeizuschleusen. KI-Anwendungen prüfen Eingaben häufig auf Schlüsselwörter oder die dahinterstehende Absicht. Anschließend leiten sie die Eingaben an ein Backend-System weiter, das den Text in Token zerlegt, die dem Modell zugeführt werden. Beim Token-Schmuggel erstellt der Angreifer Prompts, die den Sicherheitsfilter passieren, beim Modell jedoch in Befehle übersetzt werden.
Geschäftsrisiken für Unternehmen
Prompt-Injection-Angriffe bergen eine Vielzahl schwerwiegender Risiken für Unternehmen, insbesondere da diese zunehmend KI-Systeme in kritische Prozesse integrieren. Betrachten wir vier potenzielle Risiken:
Unbefugte Ausführung von Tools oder APIs: Wenn es einem Angreifer gelingt, Befehle an ein Modell zu übermitteln, könnte er möglicherweise nicht nur das Modell, sondern auch damit verbundene APIs und Systeme manipulieren. Beispielsweise könnte ein Angreifer eine API dazu veranlassen, Datenbankeinträge zu löschen, Kundeninformationen in einem Customer-Relationship-Management-System (CRM) zu ändern oder Finanztransaktionen auszuführen.
Exfiltration sensibler Daten: Ein Angreifer könnte Modelle mithilfe von Prompt Injection dazu bringen, verschiedenste sensible Daten offenzulegen – von Finanzdokumenten des Unternehmens und personenbezogenen Daten bis hin zu System-Prompts und anderem geistigen Eigentum.
Automatisiertes Phishing: Die von einem Angreifer verwendeten Befehle könnten ein Modell oder einen Agenten dazu veranlassen, automatisierte E-Mails über geschäftliche E-Mail-Konten an Kunden oder Mitarbeiter zu senden. Der Angreifer könnte das Modell dazu bringen, Phishing-Links in die Nachrichten einzufügen.
Modellübernahme: Mit den richtigen Befehlen könnte ein Angreifer den vorgesehenen Zweck eines Modells vollständig außer Kraft setzen und dessen Fähigkeiten für andere Ziele missbrauchen. Beispielsweise könnte der Angreifer das Modell nutzen, um Falschinformationen zu verbreiten, nicht autorisierte Rückerstattungen zu veranlassen oder Nutzer dazu zu bringen, persönliche Daten preiszugeben.
Risikominderung und mehrschichtige Verteidigung
Die Anwendung von vier Best Practices kann Unternehmen dabei helfen, einen mehrschichtigen Sicherheitsansatz zu entwickeln, der Angriffe verhindert und Schäden begrenzt.
1. Beidseitige Schutzmechanismen (für Ein- und Ausgaben) implementieren: Unternehmen sollten KI-Schutzmechanismen für Eingaben implementieren, um nach Mustern zu suchen, die auf Prompt Injection hindeuten könnten. Gleichzeitig sollten sie Schutzmechanismen auf Ausgaben anwenden, um sicherzustellen, dass Modelle und Agenten keine vertraulichen Informationen ausgeben, Spam erzeugen oder unbefugte Aufrufe an andere Systeme senden.
2. Canary-Tokens einsetzen: Canary-Tokens sind verborgene Markierungen in KI-Systemen, die frühzeitig vor Prompt-Injection oder Datenlecks warnen. Entwickler können dafür sorgen, dass ein Token (eine eindeutige Zeichenfolge) in einem System-Prompt erscheint, den Benutzer nie zu sehen bekommen. Gleichzeitig überwachen Sicherheitsteams die Modellausgaben in Echtzeit. Taucht das Token in einer Modellausgabe auf, bedeutet dies, dass ein Angreifer das Modell dazu gebracht hat, Systemanweisungen preiszugeben.
3. Berechtigungen von Modellen und Agenten beschränken: Prompt-Injection ist besonders gefährlich, da Angreifer Modelle und Agenten dazu zwingen können, eine Reihe unbefugter Aktionen auszuführen. Unternehmen können die Auswirkungen von Prompt-Injection begrenzen, indem sie einschränken, welche Aktionen Modelle und Agenten automatisch ausführen dürfen.
4. Menschen einbeziehen: Neben der Einschränkung der Berechtigungen von Modellen und Agenten sollten Unternehmen sicherstellen, dass Menschen bei wichtigen Maßnahmen oder Entscheidungen einbezogen bleiben. Beispielsweise könnten Unternehmen Richtlinien festlegen, nach denen Interaktionen von Modellen mit bestimmten Systemen von Menschen genehmigt oder von Agenten ausgelöste Finanztransaktionen überprüft werden müssen.
Häufig gestellte Fragen
Können herkömmliche Web Application Firewalls (WAFs) Prompt-Injection-Angriffe abwehren?
Herkömmliche Web Application Firewalls (WAFs) sind nicht darauf ausgelegt, Prompt-Injection-Angriffe zuverlässig zu erkennen. WAFs suchen nach Code, der auf einen Angriff hindeutet. Prompt-Injection-Angriffe verwenden jedoch natürlichsprachliche Anweisungen, die von WAFs nicht als Bedrohung erkannt werden. Darüber hinaus können WAFs nicht vor indirekten Prompt Injections schützen, da sie sich auf eingehenden HTTP-Datenverkehr und Benutzeranfragen konzentrieren und nicht auf Anweisungen, die in Quellen von Drittanbietern eingebettet sind.
Wie erhöhen Pipelines für Retrieval-Augmented Generation (RAG) das Risiko von Prompt-Injection-Angriffen?
Pipelines für Retrieval-Augmented Generation (RAG) bieten Angreifern eine weitere Möglichkeit, schädliche Befehle an Modelle zu übermitteln. Angreifer können Befehle in Dateien einbetten, die sich in der von einem RAG-System verwendeten Vektordatenbank befinden. Wenn das Modell Informationen aus der Datenbank abruft, nimmt es die Befehle auf und führt sie möglicherweise aus.
Wie unterscheidet sich Prompt Injection von der Manipulation von RAG-Daten?
Bei der Datenvergiftung von Retrieval-Augmented Generation (RAG) werden vor der Inferenz falsche Informationen oder Verzerrungen in eine Datenbank eingeschleust, damit Modelle, die Informationen aus dieser Datenbank abrufen, ungenaue oder schädliche Ergebnisse liefern. Bei einer Prompt-Injection werden einem Modell zum Zeitpunkt der Inferenz bösartige Befehle oder Inhalte zugeführt, um es zu unbefugten Aktionen zu veranlassen.
Kann das Fine-Tuning eines LLM Prompt-Injection-Angriffe verhindern?
Nein, allein durch das Fine-Tuning eines Large Language Models (LLM) lassen sich Prompt-Injection-Angriffe nicht vollständig verhindern. Allerdings kann es dadurch schwieriger werden, Schwachstellen auszunutzen. So könnten Entwickler einem Modell beispielsweise beibringen, bestimmte Muster zu erkennen, die auf einen Angriff hindeuten könnten. Da Modelle jedoch darauf ausgelegt sind, natürlichsprachliche Anweisungen zu verarbeiten, bleiben sie anfällig für Prompt-Injection-Versuche.
Was ist ein „Canary-Token“ und wie wird es zum Schutz von LLMs eingesetzt?
Ein Canary-Token ist eine eindeutige Datenzeichenfolge, die Entwickler in System-Prompts einbetten können. Legitime Benutzer bekommen diese Zeichenfolge nie zu sehen. Gelingt es einem Angreifer jedoch, das Modell zur Ausgabe von System-Prompts zu veranlassen, gibt das Modell unbeabsichtigt auch das Canary-Token aus. Wenn Teams, die die Ausgaben von Modellen kontinuierlich überwachen, dieses Token entdecken, wissen sie, dass gerade ein Sicherheitsverstoß stattfindet.
Wie kann ein Unternehmen KI-Systeme und -Anwendungen während der Inferenz und zur Laufzeit absichern?
Die Absicherung von KI-Systemen und -Anwendungen während der Inferenz und zur Laufzeit erfordert Kontrollen, die Eingabeaufforderungen, Antworten, Agentenaktionen und die Nutzung von Tools während der Interaktionen überprüfen. Eine KI-spezifische Laufzeitsicherheit kann dazu beitragen, Prompt-Injection-Angriffe zu blockieren, die Offenlegung sensibler Daten zu verhindern, Richtlinien durchzusetzen und zu steuern, wie Modelle und Agenten mit Benutzern, Daten, APIs und verbundenen Tools interagieren.
Welche Funktionen von F5 unterstützen die KI-Sicherheit in Unternehmen?
F5 AI Guardrails hilft dabei, Laufzeitrichtlinien durchzusetzen und vor Risiken wie Prompt-Injection, Datenlecks, schädlichen Ausgaben und unsicheren Agentenaktionen zu schützen. F5 AI Red Team nutzt adversariale Tests, um Schwachstellen und Sicherheitslücken zu identifizieren. F5 AI Gateway bietet einen zentralen Kontrollpunkt zur Steuerung des Zugriffs auf Modelle, Agenten und Tools, während F5 Workforce AI Security Transparenz über die genehmigte und nicht genehmigte KI-Nutzung im gesamten Unternehmen schafft. Zusammen bilden diese Funktionen einen Teil der F5 AI Security Platform. Für einen umfassenderen Schutz von Anwendungen, APIs und verteilten Umgebungen vereint die F5 Application Delivery and Security Platform (ADSP) Funktionen wie den Schutz von Webanwendungen und APIs, Bot-Management, DDoS-Abwehr und Anwendungsbereitstellung.
