Was ist LLM-Sicherheit?
Die Sicherheit großer Sprachmodelle (Large Language Models, LLMs) umfasst Richtlinien, Kontrollen und Technologien zum Schutz von Basismodellen, der ihnen zugrunde liegenden Trainings- und Inferenzdaten sowie der Unternehmensanwendungen, die auf ihnen basieren. Sie deckt den gesamten Lebenszyklus ab – vom Training und der Feinabstimmung der Modelle bis hin zur Verarbeitung von Eingaben und der Generierung von Ausgaben im Produktivbetrieb.
LLM-Sicherheit verstehen
LLMs reagieren auf unstrukturierte Eingaben in natürlicher Sprache und erzeugen Ausgaben, die selbst bei derselben Eingabeaufforderung variieren können. Diese Eigenschaft wird als Nichtdeterminismus bezeichnet. Aufgrund dieser nichtdeterministischen Eigenschaft ist die Sicherheit von LLMs für Organisationen, die sensible Daten verarbeiten, in regulierten Branchen tätig sind oder auf KI-gestützte Automatisierung setzen, von entscheidender Bedeutung. Ohne geeignete Schutzmaßnahmen können LLM-Anwendungen Unternehmen Risiken wie Datenlecks, Compliance-Verstößen, dem Verlust geistigen Eigentums und neuartigen Angriffstechniken wie Prompt-Injection aussetzen.
Unternehmen führen LLMs in beispiellosem Tempo ein, um sensible Kundendaten direkt zu verarbeiten, öffentlich sichtbare Markenkommunikation zu verfassen und vieles mehr. Ohne angemessene Kontrollen können LLMs durch sprachbasierte Angriffe ausgenutzt werden, vertrauliche Unternehmensinformationen preisgeben oder unsichere Ausgaben erzeugen, die betriebliche Abläufe beeinträchtigen oder den Ruf schädigen. Unternehmen nehmen integrierte, auf Basismodellen aufbauende Tools schneller in den Produktivbetrieb, als sie entsprechende Kontrollmechanismen dafür entwickeln. Darüber hinaus hat der Aufstieg agentischer KI, die ohne ausdrückliche menschliche Anweisung Aktionen ausführt, Tools aufruft und kommuniziert, ein neues, höheres Risikoprofil geschaffen.
Warum ist die Sicherheit von LLMs wichtig?
Sicherheit ist von entscheidender Bedeutung, da LLMs Entscheidungen beeinflussen, Aufgaben automatisieren und direkt mit Nutzern interagieren. Bei der Sicherheit von LLM-Anwendungen werden Modelle als Hochrisikokomponenten betrachtet. Ihr Schutz erfordert eine kontinuierliche Bewertung statt einmaliger Tests. Teams müssen sicherstellen, dass sich die Modelle auch bei veränderter Nutzung sicher und vorhersehbar verhalten. Neue Vorschriften wie die KI-Verordnung der EU verpflichten Organisationen dazu, Risikomanagement, Protokollierung und menschliche Aufsicht für KI-Systeme einzuführen. Damit wird die Sicherheit von LLMs zu einer Compliance-Anforderung und ist nicht mehr nur eine technische Best Practice.
Neben zusätzlichen Governance-Maßnahmen wie Überwachung, Audits und menschlicher Aufsicht umfasst die Sicherheit von LLMs vier zentrale Bereiche:
- Schutz von Trainings- und Inferenzdaten
- Wahrung der Modellintegrität
- Steuerung von Ein- und Ausgaben
- Absicherung von Bereitstellungsumgebungen und APIs
Schutz von Trainings- und Inferenzdaten
Manipulation von Trainingsdaten und sichere Pipelines
LLMs lernen aus riesigen Datensätzen und Komponenten von Drittanbietern. Werden Trainings- oder Feinabstimmungsdaten böswillig manipuliert, können Modelle verzerrte Verhaltensweisen, versteckte Hintertüren oder unsichere Reaktionen erlernen. Trainings- und Feinabstimmungsdaten prägen das Verhalten eines Modells unmittelbar. Die Verwendung ungeprüfter oder unzureichend verwalteter Datensätze erhöht das Risiko von Datenvergiftung, Verzerrungen und der unbeabsichtigten Speicherung sensibler Informationen.
Zu den bewährten Verfahren gehören die Beschaffung von Daten aus vertrauenswürdigen Repositorien, die Versionskontrolle, die Dokumentation der Datenherkunft und die regelmäßige Überprüfung von Änderungen. Eine solide Data Governance unterstützt sowohl die Sicherheit von LLMs als auch die Einhaltung regulatorischer Vorgaben. Um die Sicherheit großer Sprachmodelle zu gewährleisten, müssen Datenquellen validiert, die Herkunft nachvollziehbar dokumentiert und Modellabhängigkeiten kontinuierlich bewertet werden.
Offenlegung sensibler Informationen und Datenlecks
LLMs können unbeabsichtigt sensible oder geschützte Informationen offenlegen, die sie während des Trainings erlernt haben oder die ihnen über Prompts und Kontextfenster bereitgestellt wurden. Dazu zählen personenbezogene Daten (PII), Zugangsdaten oder vertrauliche Geschäftsdaten. Die Verhinderung von Datenlecks ist für die Sicherheit von LLMs von zentraler Bedeutung, insbesondere in regulierten Umgebungen, in denen Compliance-Verstöße schwerwiegende Folgen haben.
Wahrung der Modellintegrität
Lieferkettensicherheit, vertrauenswürdige Komponenten und SBOM
LLM-Anwendungen stützen sich häufig auf Modelle von Drittanbietern, Open-Source-Bibliotheken, Plug-ins und externe APIs. Jede Abhängigkeit birgt zusätzliche potenzielle Risiken für die Lieferkette. Auch kompromittierte Open-Source-Modelle oder Plug-ins stellen ein Risiko für die Lieferkette dar. Jede verwendete externe Komponente ist ein weiterer potenzieller Einstiegspunkt für böswillige Akteure.
Die Pflege eines Komponentenverzeichnisses mithilfe einer Software-Stückliste (Software Bill of Materials, SBOM), regelmäßige Sicherheitsüberprüfungen und die Überwachung auf Schwachstellen helfen Unternehmen, die Risiken durch kompromittierte oder veraltete Abhängigkeiten zu verringern.
Ein- und Ausgaben kontrollieren: Direkte und indirekte Prompt-Injection
Bei direkten Prompt-Injection-Angriffen erstellen Angreifer gezielt Eingaben, die darauf ausgelegt sind, Systemanweisungen außer Kraft zu setzen oder das Verhalten eines Modells über Benutzer-Prompts zu manipulieren.
Eine indirekte Prompt-Injection liegt vor, wenn ein Angreifer schädliche Anweisungen in externe Inhalte wie Dokumente oder Webseiten einbettet. LLMs sind darauf ausgelegt, Anweisungen zu befolgen. Prompt-Injection nutzt dies gezielt aus, indem schwer als solche erkennbare Anweisungen in das Eingabesystem eingeschleust werden. Da LLMs dem Sprachverständnis Priorität einräumen, können Prompt-Injections Schutzmaßnahmen umgehen, sensible Daten offenlegen oder unbeabsichtigte Aktionen auslösen.
Um dieses Risiko zu mindern, sollten alle Eingaben für LLMs, einschließlich Benutzer-Prompts, abgerufener Dokumente, des Systemkontexts und der Metadaten, sorgfältig eingeschränkt und bereinigt werden. Die Kontrolle der Eingabeoberfläche verringert das Risiko durch Prompt-Injection, indirekte Prompt-Angriffe und schädliche Anweisungen, die in externen Inhalten eingebettet sind. Zu den üblicherweise empfohlenen Maßnahmen gehören die Beschränkung auf vertrauenswürdige Datenquellen mittels Positivliste, das Entfernen verborgener oder nicht druckbarer Anweisungen, die Begrenzung der Länge und Komplexität von Prompts sowie die Trennung von Benutzereingaben und System-Prompts.
Unsichere Verarbeitung und Validierung von Ausgaben
Unsichere Ausgabeverarbeitung liegt vor, wenn Anwendungen Modellausgaben ohne Validierung oder Bereinigung direkt ausführen oder anzeigen. Wenn ein Modell schädlichen Code, gefährliche Befehle oder irreführende Inhalte generiert und die Anwendung diese ungeprüft ausführt, können Unternehmen mit XSS-Angriffen (Cross-Site-Scripting), nicht autorisierten Systembefehlen oder Benutzern konfrontiert werden, die aufgrund falscher Informationen handeln.
LLM-Ausgaben sollte niemals blind vertraut werden. Generierte Texte, Codes, Abfragen oder Befehle müssen validiert werden, bevor sie ausgeführt, gespeichert oder Benutzern angezeigt werden. Unternehmen sollten Inhaltsfilter, Schemavalidierungen und kontextbezogene Prüfungen einsetzen, um sicherzustellen, dass die Ausgaben den Sicherheitsanforderungen und Richtlinien entsprechen.
Aufsicht, Ausgabekontrollen und Grenzen der Verlässlichkeit
Trotz der Fortschritte im Bereich der KI bleibt menschliches Urteilsvermögen unverzichtbar. Ein übermäßiges Vertrauen in die Ausgaben von LLMs kann zu mehr Fehlern, erfundenen Inhalten oder unsicheren Entscheidungen führen. Unternehmen sollten bei sensiblen Anwendungsfällen verbindliche Prüfungen durch Menschen vorsehen, Schulungen zur angemessenen Nutzung von LLMs anbieten und klar festlegen, in welchen Fällen automatisierte Entscheidungen von Menschen überprüft werden müssen.
Bereitstellungsumgebungen und APIs absichern
Autonomie, übermäßiges Vertrauen und Nutzung nach dem Prinzip der geringsten Rechte
Wenn LLMs übermäßige Eigenständigkeit eingeräumt wird, etwa die Möglichkeit, ohne Aufsicht Arbeitsabläufe auszulösen oder Entscheidungen zu treffen, steigt das Risiko von Fehlern und Missbrauch. Die Eigenständigkeit von LLMs ohne menschliche Kontrolle kann eine Reihe unbeabsichtigter Folgen in der realen Welt nach sich ziehen. Sowohl die Autonomie von LLMs als auch das übermäßige Vertrauen in sie werden durch agentenbasierte KI verstärkt. In solchen Fällen könnten Angreifer LLMs für Phishing, Social Engineering oder Schadcode missbrauchen und so die Bedrohungslage verschärfen.
Zum Schutz davor sollten LLM-Agenten und Plugins nach dem Prinzip der geringsten Rechte betrieben werden. Modelle sollten nur Zugriff auf die Daten, Tools und Aktionen haben, die zur Erfüllung ihrer vorgesehenen Funktion erforderlich sind. Risikoreiche Vorgänge wie das Ausführen von Code, das Ändern von Datensätzen oder das Einleiten von Transaktionen sollten eine ausdrückliche Genehmigung oder eine zusätzliche Validierung erfordern, die von der Infrastruktur definiert und durchgesetzt wird.
DoS-Angriffe, Ressourcenerschöpfung und Modelldiebstahl
LLM-Endpunkte sind ressourcenintensive und kostspielige Assets. Angreifer können sie mit einer hohen Anzahl aufwendiger Prompts missbrauchen, sie mit Datenverkehr überfluten und dadurch die Kosten in die Höhe treiben. Schwache Zugriffskontrollen können zudem Modelldiebstahl oder unbefugte Replikation ermöglichen. Ohne strukturierte und robuste Zugriffskontrollen und -beschränkungen kann ein Angreifer ein Modell abfragen und dessen Verhalten replizieren, ohne auf das Backend zuzugreifen. Bei Denial-of-Wallet-Angriffen überfluten böswillige Akteure Endpunkte mit tokenintensiven Abfragen, um das Cloud- oder API-Budget eines Unternehmens schnell aufzubrauchen, ohne den KI-Dienst zum Absturz zu bringen.
Überwachung, Protokollierung und Reaktion auf Sicherheitsvorfälle
Die kontinuierliche Überwachung von Prompts, Ausgaben, Nutzungsmustern und Leistung ermöglicht die frühzeitige Erkennung von Missbrauch, Anomalien oder neu auftretenden Bedrohungen. Die Protokollierung unterstützt forensische Analysen und die Erfüllung von Compliance-Anforderungen. Vorschriften wie der EU AI Act schreiben für bestimmte KI-Systeme Rückverfolgbarkeit und Analysen nach Sicherheitsvorfällen vor. Daher sind Protokollierung und Überwachung sowohl für die Compliance als auch für die Sicherheit unerlässlich. Unternehmen sollten zudem spezielle Verfahren für die Reaktion auf Vorfälle im Zusammenhang mit LLMs einrichten, um auftretende Probleme schnell einzudämmen und zu beheben.
Die größten Sicherheits- und Schwachstellenrisiken bei LLMs
Große Sprachmodelle und darauf basierende Anwendungen weisen ein ganz anderes Risikoprofil auf als herkömmliche Anwendungen. Die OWASP Top 10 for LLM Applications konzentrieren sich auf KI-spezifische Risiken wie Prompt-Injection, unsichere Verarbeitung von Ausgaben, Manipulation von Trainingsdaten, Offenlegung vertraulicher Informationen, übermäßige Handlungsbefugnisse und die Verweigerung des Modelldienstes. Im Gegensatz zu den traditionellen OWASP Top 10, die Schwachstellen in Webanwendungen wie fehlerhafte Zugriffskontrollen und Injection-Sicherheitslücken behandeln, befasst sich die LLM-Version mit Risiken, die durch natürlichsprachliche Eingaben, das Modellverhalten, externe Tools und die Autonomie von KI entstehen. Zu diesen Bedrohungen zählen Prompt-Injection, unsichere Verarbeitung von Ausgaben, Manipulation von Trainingsdaten, Offenlegung vertraulicher Informationen, übermäßige Modellautonomie und Denial-of-Service-Angriffe durch Ressourcenerschöpfung. Das Framework betrachtet LLMs als Komponenten mit weitreichenden Auswirkungen, die eine gezielte Governance, kontinuierliche Überwachung und mehrschichtige Schutzmaßnahmen gemäß modernen Anwendungs- und API-Standards erfordern.
Das Verständnis dieser Kategorien hilft Unternehmen, gezielte Schutzmaßnahmen zu entwickeln, die modernen Sicherheitspraktiken für Anwendungen und APIs entsprechen und den besonderen Anforderungen an die Sicherheit von LLMs Rechnung tragen.
Best Practices für die LLM-Sicherheit
Da LLMs über natürliche Sprache interagieren, dynamische Ausgaben erzeugen und häufig in sensible Systeme integriert sind, reichen herkömmliche Sicherheitskontrollen allein nicht aus.
Effektive Best Practices für die Sicherheit von LLMs kombinieren technische Schutzmaßnahmen, Governance-Prozesse und menschliche Aufsicht. Unternehmen müssen davon ausgehen, dass Prompts manipuliert, Ausgaben missbräuchlich verwendet und Abhängigkeiten kompromittiert werden können.
Ziel ist es nicht, Risiken vollständig auszuschließen, sondern die Wahrscheinlichkeit und die Auswirkungen von Fehlern zu verringern und zugleich sichere Innovationen in großem Maßstab zu ermöglichen.
Unternehmen benötigen kontinuierliche Transparenz über das Risikoprofil jedes von ihnen eingesetzten KI-Modells. Dazu müssen bereitgestellte Modelle fortlaufend mit aktuellen Bibliotheken für KI-Schwachstellen abgeglichen werden, um zu verstehen, welche Bedrohungen die einzelnen Modelle in die Umgebung einbringen. Der Comprehensive AI Security Index (CASI) von F5 ist eine der größten und am regelmäßigsten aktualisierten Bibliotheken für KI-Schwachstellen und bietet Unternehmen einen konsistenten, aktuellen Überblick über die Risiken auf Modellebene.
Wie ermöglicht F5 die Sicherheit von LLMs?
LLM-gestützte Anwendungen sollten in sichere Entwicklungspraktiken eingebunden und nicht als eigenständige Systeme behandelt werden. Wie APIs und Microservices sollten Modelle versioniert, zugriffsgeschützt, getestet und über kontrollierte Continuous-Integration-/Continuous-Delivery-Pipelines (CI/CD) bereitgestellt werden, damit Änderungen nachvollziehbar, überprüfbar und reversibel bleiben. F5 verbessert die Anwendungsbereitstellung und die Sicherheitskontrollen für LLM-Workloads und gewährleistet deren konsistente Durchsetzung in Hybrid- und Multi-Cloud-Umgebungen.
Die F5 AI Security Platform schützt und verwaltet KI-Modelle, -Anwendungen und -Agenten sowie die APIs, die sie miteinander verbinden. Ein kontinuierlicher Zyklus aus Risikobewertung und Risikominderung sorgt dafür, dass Kunden stets die Kontrolle behalten. Von der KI-Governance bis zum KI-Laufzeitschutz unterstützt die AI Security Platform die Beobachtbarkeit von KI über den gesamten Prozess hinweg – von der Datenaufnahmepipeline bis zur Ausgabe – durch F5 AI Guardrails, F5 AI Red Team und weitere Lösungen.
F5 BIG-IP und F5 Distributed Cloud Services unterstützen Unternehmen dabei, LLM-APIs durch Datenverkehrsmanagement, Zugriffskontrolle und Überprüfung abzusichern. Funktionen wie API-Erkennung, Authentifizierung, Ratenbegrenzung und Bot-Abwehr schützen LLM-Endpunkte vor Missbrauch, DoS-Angriffen und automatisierten Angriffen. Diese Maßnahmen verhindern eine Erschöpfung der Ressourcen und blockieren unbefugten Zugriff auf kostspielige Inferenzdienste.
F5 Distributed Cloud Web App and API Protection (WAAP) verbessert die LLM-Sicherheit, indem Injection-Angriffe, schädliche Prompts und ungewöhnliche Anfragemuster erkannt werden. Die Lösung überwacht den Datenverkehr, um ungewöhnliche Aktivitäten zu erkennen und Prompt-Injection, Datenexfiltration oder den Missbrauch von LLM-gestützten Systemfunktionen zu identifizieren.
F5 BIG-IP SSL Orchestrator ermöglicht die Entschlüsselung und Überprüfung von verschlüsseltem Datenverkehr in Umgebungen mit sensiblen Daten oder externen Systemen, sodass Sicherheitstools verborgene Bedrohungen erkennen können. Diese Transparenz ist entscheidend, um LLM-Eingaben und -Ausgaben im Produktivbetrieb zu überwachen, ohne die Leistung zu beeinträchtigen.
Distributed Cloud Services bieten eine zentrale Richtlinienverwaltung, Beobachtbarkeit und Durchsetzung in Hybrid- und Multi-Cloud-Umgebungen. Sicherheitsteams erhalten eine einheitliche Übersicht über LLM-Datenverkehr, Anomalien und Metriken und können Bedrohungen dadurch schneller erkennen und darauf reagieren. Die Einbindung von LLMs in bestehende Architekturen verhindert isolierte KI-Silos. F5 ermöglicht skalierbare, resiliente KI-Sicherheit, die sich an veränderte Geschäftsanforderungen und Bedrohungen anpasst und dabei mehrstufige Sicherheitsprinzipien auf KI-Workloads anwendet.
LLM-Sicherheit: Häufig gestellte Fragen
Welche Hauptrisiken sind mit der Sicherheit von LLMs verbunden?
Prompt-Injection, Datenlecks, unsichere Verarbeitung von Ausgaben, Manipulation von Trainingsdaten und übermäßige Autonomie sind häufige Risiken.
Wie können Unternehmen die Sicherheit von LLMs verbessern?
Unternehmen können die Sicherheit von LLMs durch mehrstufige Schutzmaßnahmen wie Eingabefilterung, Ausgabevalidierung, Zugriffsrechte nach dem Prinzip der geringsten Privilegien und Überwachung verbessern.
Wie unterscheiden sich die OWASP Top 10 für LLM-Anwendungen von den klassischen OWASP Top 10 für Webrisiken?
Die traditionellen OWASP Top 10 wurden für die Sicherheit von Webanwendungen entwickelt und decken Risiken wie Injection, fehlerhafte Authentifizierung und Fehlkonfigurationen ab. Die OWASP Top 10 für LLM-Anwendungen befassen sich mit Risiken im Zusammenhang mit natürlicher Sprache, nicht deterministischem Verhalten und nicht traditionellen Webrisiken (Prompt Injection, unsichere Ausgabeverarbeitung, Manipulation von Trainingsdaten usw.).
Können LLMs zur Cyberabwehr eingesetzt werden?
Ja. LLMs werden häufig eingesetzt, um die Bedrohungsanalyse zu automatisieren, Sicherheitsprotokolle auszuwerten und die Triage sowie die Reaktion auf Vorfälle zu beschleunigen.