Wie Bots große Sprachmodelle angreifen: Die OWASP Top 10 für LLMs

Jim Downey

Bots und KI sind seit Langem untrennbar miteinander verbunden. Die ersten CAPTCHA-Tests, die zur Abwehr von Bots entwickelt wurden, waren als Aufgaben konzipiert, die für Menschen leicht, aber für KI schwer zu lösen sind – eine Unterscheidung, die auf eine Veröffentlichung von Alan Turing aus dem Jahr 1950 über Computerintelligenz zurückgeht. In jüngerer Zeit setzen Sicherheitsunternehmen, darunter F5, KI zur Erkennung von Bots ein, während Bot-Entwickler ihrerseits KI nutzen, um die Erkennung zu umgehen und CAPTCHA-Aufgaben zu lösen. Mit generativer KI entwickeln sich die Verbindungen zwischen Bots und KI weiter: Bots extrahieren Inhalte aus dem Internet, um große Sprachmodelle (LLMs) zu speisen, und KI-Agenten – im Grunde intelligente Bots – interagieren auf unbeabsichtigte Weise mit Apps. Diese enge Verflechtung von Bots und KI zeigt sich auch bei der Betrachtung der Top 10 Risiken und Gegenmaßnahmen für LLMs und GenAI-Apps 2025.

Bots sind sicherlich nicht das einzige Mittel, um Schwachstellen von LLMs auszunutzen. LLM-Sicherheit ist ein komplexes, sich rasch entwickelndes Gebiet der Cybersicherheit, und ich möchte die Herausforderung nicht vereinfachen, indem ich eine einzige Ursache oder Lösung anführe. Dennoch wissen wir, dass Angreifer fast immer Bots in der einen oder anderen Form einsetzen, um Cyberangriffe zu skalieren. Durch die Abwehr von Bots wird Cyberkriminellen somit ein wichtiges Werkzeug aus der Hand genommen. Um zu verstehen, warum die Bot-Abwehr für die LLM-Sicherheit ebenso relevant ist wie für die Sicherheit von Webanwendungen, mobilen Anwendungen und APIs, betrachten wir die OWASP Top 10 der Sicherheitsrisiken für LLMs für 2025 und untersuchen, wie Angreifer Bots einsetzen könnten, um die einzelnen Schwachstellen auszunutzen.

1. Prompt-Injection

Ein Prompt-Injection-Angriff zielt darauf ab, das Verhalten von LLMs auf böswillige Weise zu verändern. Laut OWASP kann dies dazu führen, dass die Modelle „gegen Richtlinien verstoßen, schädliche Inhalte generieren, unbefugten Zugriff ermöglichen oder kritische Entscheidungen beeinflussen“. Um das Verhalten von Modellen durch Prompts zu beeinflussen, muss der Angreifer möglicherweise eine Vielzahl von Prompts einschleusen und das Modell mit schädlichen Prompts überfluten, um entweder den Schaden zu maximieren oder einen Prompt zu finden, der das gewünschte Ergebnis erzielt. Um eine ausreichend große Anzahl schädlicher Prompts einzugeben, benötigen Angreifer Bots zur Automatisierung.

2. Offenlegung sensibler Informationen

Im Wettlauf um die Entwicklung von LLMs, die Mitarbeitern und Kunden einen geschäftlichen Mehrwert bieten, werden Unternehmen Modelle mit riesigen unternehmenseigenen Datenbeständen trainieren. Diese Datenbestände können jedoch sensible Informationen enthalten, darunter personenbezogene Daten und Geschäftsgeheimnisse. Angreifer werden diese Modelle mit ziemlicher Sicherheit in der Hoffnung testen, diese sensiblen Daten offenzulegen. Da Angreifer möglicherweise weder genau wissen, nach welchen Daten sie suchen, noch wie sie gezielt danach fragen können, könnten sie einen Brute-Force-Ansatz verfolgen und zahlreiche Prompts senden, in der Hoffnung, dass einer davon wertvolle sensible Informationen preisgibt. Um eine große Anzahl von Prompts an Modelle zu senden, werden Angreifer, die ihre Angriffe skalieren möchten, Bots einsetzen.

3. Lieferkette

Wie jedes Informationssystem weisen auch LLMs Abhängigkeiten auf, darunter Trainingsdaten, Basismodelle und Bereitstellungsplattformen. Das bedeutet, dass Angreifer ein LLM kompromittieren können, indem sie dessen Lieferkette kompromittieren. Um Abhängigkeiten zu kompromittieren, werden Angreifer wahrscheinlich Bots einsetzen, um Datenspeicher mit gefälschten Informationen zu manipulieren, Authentifizierungssysteme durch Credential Stuffing oder Echtzeit-Phishing-Proxys zu knacken und nach Schwachstellen in der Autorisierung zu suchen.

4. Vergiftung von Daten und Modellen

Beim Data Poisoning manipulieren Angreifer Daten für das Vortraining, die Feinabstimmung oder die Einbettung, um Schwachstellen, Hintertüren oder Verzerrungen einzuschleusen. Laut OWASP kann „diese Manipulation die Sicherheit, Leistung oder das ethische Verhalten des Modells beeinträchtigen und zu schädlichen Ausgaben oder eingeschränkten Fähigkeiten führen“. Angreifer können Daten zwar auf vielfältige Weise manipulieren, doch Bots sind bei vielen Angriffsarten ein gängiges Werkzeug – von der Umgehung der Authentifizierung oder Autorisierung bis hin zum Einschleusen gefälschter Daten in Datenspeicher über Anwendungen ohne Bot-Schutz.

5. Unsachgemäße Ausgabeverarbeitung

Unsachgemäße Ausgabeverarbeitung bezeichnet das Versäumnis, zu prüfen, ob die Ausgabe eines LLM-Modells einem System schaden könnte, das auf diese Ausgabe angewiesen ist. Während sich Schwachstellen in der Lieferkette sowie Daten- und Modellvergiftung auf die Kompromittierung von Systemen beziehen, die dem LLM-Modell vorgelagert sind, betrifft eine unsachgemäße Ausgabeverarbeitung nachgelagerte Systeme, also Systeme, die von der Ausgabe des LLM-Modells abhängig sind. Laut OWASP kann „die erfolgreiche Ausnutzung einer Schwachstelle bei der unsachgemäßen Ausgabeverarbeitung zu Cross-Site-Scripting (XSS) und Cross-Site-Request-Forgery (CSRF) in Webbrowsern sowie zu Server-Side-Request-Forgery (SSRF), Rechteausweitung oder Remotecodeausführung auf Backend-Systemen führen.“

Anders ausgedrückt: Der Angreifer nutzt das LLM, um eine andere Anwendung anzugreifen, die auf die Ausgabe des LLM angewiesen ist. Ein Angreifer kann diese Schwachstelle zwar durch sorgfältig erstellte Eingaben in eine Anwendung ausnutzen, er kann jedoch auch versuchen, den Angriff automatisiert mit der Brute-Force-Methode durchzuführen. Dabei probiert er zahlreiche Varianten aus, um eine Eingabe zu finden, die eine Ausgabe erzeugt, welche eine nachgelagerte Anwendung schädigt. Die Automatisierung versucht, das Modell zu einer schädlichen Ausgabe zu zwingen, und prüft, ob diese Ausgabe die gewünschte negative Wirkung auf die Anwendung hatte. Um diese Art von Sondierung in großem Umfang durchzuführen, sind Bots erforderlich.

6. Übermäßige Handlungsautonomie

Übermäßige Handlungsbefugnis ist eine Form der Rechteausweitung, die über ein LLM-basiertes System erfolgt. Die Schwachstelle entsteht dadurch, dass ein LLM-basiertes System mit erweiterten Berechtigungen ausgeführt wird und dadurch Funktionen aufrufen oder mit anderen Systemen interagieren kann. Da der Angreifer nicht weiß, wo das LLM-basierte System über erweiterte Berechtigungen verfügt oder wie sich diese Rechteausweitung ausnutzen lässt, wird er wahrscheinlich automatisiert mehrere Prompts eingeben, in der Hoffnung, eine Rechteausweitung auszulösen und auszunutzen.

7. Offenlegung des System-Prompts

Auf LLMs basierende Anwendungen geben dem LLM häufig Anweisungen über den System-Prompt, die das Verhalten des Modells so steuern, dass es die Anforderungen der Anwendung erfüllt. In der Praxis können System-Prompts vertrauliche Informationen enthalten: Verbindungszeichenfolgen für Datenbanken, proprietären Code, geistiges Eigentum oder andere Inhalte, die Unternehmen schützen sollten. System-Prompt-Leakage ist somit eine spezielle Form der Prompt-Injection, die dazu führt, dass eine Anwendung unbeabsichtigt ihre Systemanweisungen offenlegt.

Ein LLM durch Prompts dazu zu bringen, diese Geheimnisse offenzulegen, ist nicht einfach. Es ist nahezu sicher, dass Angreifer automatisierte Skripte entwickeln werden, um System-Prompts effizienter auf darin enthaltene sensible Daten zu untersuchen.

8. Schwachstellen bei Vektoren und Einbettungen

LLM-Anwendungen verbessern die Modellausgabe häufig durch zusätzlichen Kontext, der den Modellen mithilfe einer als Retrieval-Augmented Generation (RAG) bezeichneten Technik bereitgestellt wird. Bei den Inhalten, die LLMs über RAG zur Verfügung gestellt werden, handelt es sich nicht um Rohtext, sondern um vorverarbeitete Vektoren mit eingebetteten Metadaten und Inhalten. Laut OWASP können „Schwachstellen bei der Erzeugung, Speicherung oder dem Abruf von Vektoren und Einbettungen durch böswillige Handlungen (beabsichtigt oder unbeabsichtigt) ausgenutzt werden, um schädliche Inhalte einzuschleusen, Modellausgaben zu manipulieren oder auf vertrauliche Informationen zuzugreifen.“ Mit anderen Worten: Angreifer können die RAG-Inhalte und deren Verarbeitung ins Visier nehmen, um das LLM-System anzugreifen.

Unternehmen implementieren eigene Prozesse und legen den Umfang der RAG-Inhalte entsprechend den spezifischen Anforderungen ihrer Organisation fest. Das bedeutet, dass die Inhalte und ihre Schwachstellen für jede Organisation einzigartig sind. Aus Sicht eines Angreifers ist es nicht einfach, diese Schwachstellen aufzudecken. Daher ist hierfür mit Sicherheit eine automatisierte Erkundung, also der Einsatz von Bots, erforderlich.

9. Fehlinformationen

Wenn LLMs falsche oder irreführende Informationen erzeugen, können Systeme, die sich auf diese Informationen stützen, fehlerhaft funktionieren. Dies kann zu Sicherheitsverletzungen, Reputationsschäden und rechtlicher Haftung führen. LLMs können aufgrund von Halluzinationen oder Verzerrungen und Lücken in den Trainingsdaten Fehlinformationen erzeugen.

Angreifer, die Halluzinationen ausnutzen wollen, werden ihre Eingabeaufforderungen und die Analyse der Antworten wahrscheinlich automatisieren. Indem sie beispielsweise den Prozess der Codegenerierung automatisieren – also ein LLM verwenden, um zahlreiche Instanzen von Programmcode zu erzeugen –, können Angreifer Verweise auf Softwarebibliotheken finden, die gar nicht existieren. Anschließend können sie in dem vom LLM fälschlicherweise genannten Code-Repository eine schädliche Softwarebibliothek erstellen. Wird der vom LLM generierte Code nicht ausreichend überprüft, wird die schädliche Bibliothek in das veröffentlichte Produkt eingebunden.

Angreifer können ebenso Bots einsetzen, um Trainingsdaten zu manipulieren, indem sie gezielt riesige Datenmengen einspeisen, die das Modell beeinflussen sollen.

10. Unbegrenzter Ressourcenverbrauch

Die zehnte OWASP-Schwachstelle für LLMs, unbegrenzter Ressourcenverbrauch, ähnelt stark der OWASP-API-Schwachstelle namens uneingeschränkter Ressourcenverbrauch sowie der automatisierten OWASP-Bedrohung namens Denial-of-Service. Der Angreifer überschreitet die erwartete Anzahl von Anfragen so stark, dass es beim Inferenzdienst zu einem Denial-of-Service, Leistungseinbußen und übermäßigen Kosten kommt. Laut OWASP machen „die hohen Rechenanforderungen von LLMs, insbesondere in Cloud-Umgebungen, sie anfällig für die Ausbeutung von Ressourcen und unbefugte Nutzung“. Um die erwartete Nutzung zu überschreiten, werden Angreifer mit ziemlicher Sicherheit Bots einsetzen, um das Anfragevolumen zu skalieren.

Bot-Schutzmaßnahmen implementieren

Da viele Unternehmen unter dem Druck stehen, KI-Funktionen schnell auf den Markt zu bringen, und die Sicherheitsauswirkungen von LLMs noch nicht vollständig verstanden sind, sollten sie erwägen, sowohl LLM-basierte Anwendungen als auch Anwendungen, die Daten in LLM-Modelle einspeisen, durch vorgeschaltete Bot-Schutzmaßnahmen abzusichern. Je mehr Angriffe die Angreifer starten können, desto größer sind ihre Erfolgschancen. F5 bietet mit F5 Distributed Cloud Bot Defense einen besonders effektiven, selbst auf KI basierenden Bot-Schutzdienst, der Unternehmen dabei hilft, gegenüber Angreifern die Oberhand zu gewinnen, die Bots und Automatisierung einsetzen, um LLM-Anwendungen ins Visier zu nehmen.

Weitere Informationen zu Distributed Cloud Bot Defense.

Über den Autor

Jim Downey

Weitere Blogbeiträge von Jim Downey