KI-Sicherheit über das Modell hinaus: Worauf Unternehmen achten müssen – und warum

KI entwickelt sich rasant weiter, und die meisten Unternehmen sichern nur einen Bruchteil ihrer tatsächlichen Risikofläche ab. Dieser in Zusammenarbeit mit F5, AWS und Microsoft erstellte Forschungsbericht von NSS Labs untersucht die Bedrohungsvektoren, Governance-Lücken und Kompetenzbereiche, die besonders relevant sind, wenn KI von der Experimentierphase in den produktiven Einsatz übergeht.

Inhaltsverzeichnis

Einleitung: Warum KI-Sicherheit ein unternehmensweites Risikothema ist

Grundpfeiler verantwortungsvoller KI im Sicherheitsbereich

Warum die Sicherheit des Modells allein nicht ausreicht

Abgrenzung der Verantwortlichkeiten für KI-Sicherheit

Das neue Bedrohungsmodell: Warum herkömmliche Sicherheitsannahmen nicht mehr gelten

Die Kompetenzbereiche, auf die es wirklich ankommt

Eingabeintegrität und Anweisungssteuerung

Management von Ausgaberisiken und Datenexfiltration

Systemresilienz und Robustheit

Richtliniengenauigkeit und Abwägungsmanagement

Deterministische Verifizierung für sicherheitskritische Entscheidungen

Agentenbasierte KI und delegierte Befugnisse

Beobachtbarkeit, Auditierung und Forensik

Warum KI-Sicherheit ohne GRC scheitern wird

Fazit: KI-Governance auf Unternehmensebene

TEIL 2 HERUNTERLADEN: Bewertung der Sicherheit von Unternehmens-KI: Fragen, die jeder Käufer beantworten können sollte

Zusammenfassung

Künstliche Intelligenz hat sich in Unternehmensumgebungen rasch von der Erprobungsphase hin zum produktiven Einsatz entwickelt. Generative KI-Modelle, dialogbasierte Assistenten und zunehmend autonome agentenbasierte Systeme sind inzwischen in kundenorientierte Anwendungen, interne Arbeitsabläufe, Softwareentwicklungspipelines und Entscheidungsunterstützungsprozesse integriert. Dadurch stellen Ausfälle von KI-Systemen bereits konkrete geschäftliche, rechtliche, reputationsbezogene und operative Risiken sowie eine erhebliche Herausforderung für eine wirksame Governance dar.

Ein Großteil der Aufmerksamkeit im Bereich der KI-Sicherheit gilt den KI-Modellen selbst – insbesondere der Frage, wie sie trainiert werden, welche Daten sie enthalten und wie sie sich unter kontrollierten Bedingungen verhalten. Die Sicherheit innerhalb des KI-Modells ist zweifellos sehr wichtig, deckt jedoch nur einen Bruchteil der Angriffsfläche ab. In Produktionsumgebungen treten die schwerwiegendsten Schwachstellen häufig außerhalb des Modells auf: in den Daten, mit denen es verbunden ist, den Tools, die es aufrufen kann, den Berechtigungen, die es übernimmt, und den Governance-Praktiken (oder deren Fehlen), die sein Verhalten einschränken.

Dieses Whitepaper zeigt auf, welche Bereiche Unternehmen bei der Bewertung von KI-Sicherheitslösungen am meisten beschäftigen sollten und warum diese Aspekte von Bedeutung sind. Ohne auf bestimmte Produkte oder Testverfahren einzugehen, vermittelt es eine kompetenzorientierte Sicht auf KI-Sicherheit aus der Perspektive des unternehmensweiten Risikomanagements, der Governance und der Rechenschaftspflicht. Ziel ist es, Chief Information Security Officers (CISOs), Unternehmenskunden sowie Verantwortlichen für Governance, Risk und Compliance (GRC) konkrete Orientierung zu den Fragen zu geben, die sie stellen sollten, bevor reale KI-Fehlfunktionen unter regulatorischer, rechtlicher, kundenbezogener oder auf Vorstandsebene erfolgender Prüfung unerwünschte Antworten zutage fördern.

Einleitung: Warum KI-Sicherheit ein unternehmensweites Risikothema ist

Der Einsatz von KI in Unternehmenssystemen nimmt rasant zu und stellt diejenigen, die für die Umsetzung der zu ihrer Steuerung vorgesehenen Kontrollmaßnahmen verantwortlich sind, vor erhebliche Herausforderungen. Geschäftsbereiche setzen KI-gestützte Funktionen ein, um die Produktivität zu steigern, Entscheidungen zu automatisieren, die Softwareentwicklung zu beschleunigen und Kundenerlebnisse vom Wettbewerb abzuheben. Viele dieser Systeme werden jedoch lange vor einer formellen Prüfung in den Bereichen Sicherheit, Risiko oder Governance eingeführt. Dieses Tempo führt zu einer immer größeren Kluft zwischen Innovation und Verantwortlichkeit.

Die Absicherung des KI-Modells selbst ist unerlässlich, reicht allein jedoch nicht aus. Die meisten Unternehmen setzen bereits direkt auf Modellebene Kontrollmaßnahmen ein: Sie kuratieren Trainingsdaten, nutzen Verfahren zur Sicherheitsoptimierung und Ausrichtung, beschränken den Zugriff auf das Modell, begrenzen die Nutzungsrate und verlassen sich auf integrierte Inhaltsfilter sowie Mechanismen zur Ablehnung von Anfragen. Diese Maßnahmen beeinflussen die Ausgaben des Modells und verringern offensichtlichen Missbrauch, berücksichtigen jedoch nicht, wie KI-Systeme in realen Unternehmensumgebungen funktionieren, in denen Ausgaben mit Live-Daten interagieren, Aktionen auslösen und in komplexen Autorisierungskontexten verarbeitet werden.

Im Kontext der KI-Sicherheit bezeichnet Responsible AI (RAI) den übergeordneten Governance- und Lebenszyklusrahmen sowie die Richtlinien und technischen Verfahren, mit denen sichergestellt wird, dass Systeme der künstlichen Intelligenz während ihres gesamten Lebenszyklus sicher, geschützt, resilient und vertrauenswürdig sind. Dabei geht es nicht nur darum, Angriffe abzuwehren, sondern auch sicherzustellen, dass die Systeme gegen unbeabsichtigte Schäden, Datenschutzverletzungen und Verzerrungen robust sind und zugleich die menschliche Aufsicht gewahrt bleibt.

Grundpfeiler verantwortungsvoller KI im Sicherheitsbereich

Aus einer spezifischen Sicherheitsperspektive betrachtet, lässt sich das RAI-Framework in mehrere praktische Kontrollbereiche übertragen: die Gewährleistung, dass KI-Systeme gegenüber Fehlern, unerwarteten Eingaben und gezielten Angriffen widerstandsfähig sind; die Absicherung der Trainings- und Bereitstellungspipeline zur Gewährleistung von Privatsphäre und Datenschutz; die Wahrung von Transparenz und Prüfbarkeit sowie die Einrichtung von Governance-Prozessen, die eine zulässige Nutzung und klare Verantwortlichkeiten definieren.

Im Rahmen des RAI-Frameworks mindern modellzentrierte Sicherheitsfunktionen proaktiv spezifische Schwachstellen, die ausschließlich beim maschinellen Lernen auftreten, wie zum Beispiel:

• Datenvergiftung: Manipulation von Trainingsdaten, um das Modell zu verfälschen
• Modellinversion/-extraktion: Diebstahl proprietärer Modelle oder Offenlegung sensibler Trainingsdaten
• Adversariale Angriffe: kleine, unsichtbare Änderungen an Eingaben vornehmen, um Fehlentscheidungen zu erzwingen
• Prompt-Injection: Generative KI dazu verleiten, vorgesehene Richtlinien und Anweisungsgrenzen zu umgehen

Diese Sicherheitskontrollen für Modelle sind für die grundlegende Sicherheit unerlässlich, berücksichtigen jedoch weitgehend keinen Unternehmenskontext und sind für eine unabhängige oder externe Überprüfung in der Regel nicht transparent. Unternehmen haben häufig nur begrenzten Einblick darin, wie diese Kontrollen implementiert sind oder wie sie sich unter außergewöhnlichen Bedingungen verhalten.

Bei Implementierungen auf Unternehmensebene ist das KI-Modell nur eine Komponente eines größeren Systems, das Abrufschichten, Konnektoren zu Unternehmensdaten, Identitäts- und Autorisierungssignale sowie Werkzeugaufrufe umfasst, die den Zustand nachgelagerter Systeme erheblich verändern können. Die Risikofläche für Unternehmen wird maßgeblich von diesen Integrationen und den umgebenden Komponenten des KI-Systems bestimmt. Selbst ein gut abgestimmtes Modell kann unsicher eingesetzt werden, wenn es mit den falschen Daten verbunden ist, übermäßige Werkzeugberechtigungen erhält, Richtlinien uneinheitlich durchgesetzt werden oder die Überwachung nicht ausreicht, um Missbrauch zu erkennen.

An dieser Stelle werden externe KI-Sicherheitskontrollen zur Laufzeit (auch bezeichnet als KI-Leitplanken, KI-Firewalls oder KI-Schutzsysteme) unverzichtbar. Laufzeit-Leitplanken sind spezifische technische Echtzeitkontrollen, die außerhalb des Modells implementiert werden, um Sicherheitsrichtlinien und Verhaltensgrenzen genau in dem Moment der Anwendungsinteraktion durchzusetzen, in dem Unternehmensrisiken entstehen. Diese Kontrollen überwachen und begrenzen das Verhalten der KI anhand von Kontextinformationen auf Systemebene, darunter Benutzeridentität, Datensensibilität, Anwendungsstatus und Governance-Anforderungen. Laufzeitkontrollen schaffen Prüfbarkeit, Resilienz und Verantwortlichkeit und bilden damit die Grundlage für KI-Sicherheit auf Unternehmensniveau.

Die Terminologie variiert je nach Anbieter und Framework, doch in der Praxis ist der entscheidende Punkt einfach: Modellsicherheit reduziert die inhärenten Risiken des Modells, während Schutzmechanismen zur Laufzeit die Unternehmensrisiken direkt am Interaktionspunkt steuern.

Warum Modellsicherheit allein nicht ausreicht

Auf der grundlegendsten Ebene können Sicherheitsvorkehrungen für Modelle schädliche Prompts blockieren, unzulässige Inhalte herausfiltern und einfache Nutzungsregeln durchsetzen. Diese Funktionen sind notwendig, doch viele schwerwiegende Ausfälle von KI-Systemen in Unternehmen sind nicht auf fehlende Regeln zurückzuführen, sondern auf mangelnden Kontext, unzureichende Resilienz und fehlende Transparenz.

Beispielsweise kann ein KI-System alle festgelegten Inhaltsrichtlinien einhalten und dennoch durch Aggregation, Schlussfolgerungen oder eine unangemessene Vermischung von Kontexten sensible Informationen preisgeben. Ebenso kann ein System unter normalen Bedingungen die richtigen Regeln durchsetzen, aber unter Last, bei Teilausfällen oder beim Ausfall von Abhängigkeiten auf unvorhersehbare Weise versagen.

Um diesen Risiken zu begegnen, sind Laufzeitkontrollen erforderlich, die das Gesamtsystem berücksichtigen und einer Governance-Aufsicht unterliegen. Dazu gehören die Durchsetzung von Richtlinien auf Grundlage von Rollen und Datensensibilität, die Beschränkung von Tool-Aufrufen und delegierten Befugnissen, der vorhersehbare Umgang mit Fehlerszenarien sowie die Erstellung von Nachweisen für Untersuchungen, Audits und die Einhaltung regulatorischer Vorgaben.

Ohne Governance, Beobachtbarkeit und Resilienz kann die Absicherung des Modells allein nicht das Maß an Sicherheit gewährleisten, das für KI-Systeme im unternehmensweiten Einsatz erforderlich ist. Die fortschrittlichsten Unternehmen werden KI-Sicherheit daher als System- und Governance-Aufgabe betrachten und nicht als ein Problem, das allein das Modell betrifft.

Autoren

Bob Walder – Senior Analyst, NSS Labs
lan Foo – Chief Technology Officer und Executive Vice President für Produktentwicklung, NSS Lab

Mitwirkende

Diese Studie entstand in Zusammenarbeit mit führenden Fachleuten aus den Bereichen Sicherheit, Cloud und KI in der gesamten Branche.

Cameron Delano – Senior Solutions Architect, F5
Jeanette Hurr – Global Solutions Architect, F5
Riggs Goodman III – Principal Solutions Architect, KI-Sicherheit und Datenschutz, AWS
Raj Bagwe – Senior Solutions Architect, AWS
Zachary Riffle – Security Architect, Microsoft

Abgrenzung der Verantwortlichkeiten für KI-Sicherheit

Organisationen, die KI-Dienste nutzen, sind grundlegend anderen Risiken ausgesetzt als solche, die eigene Modelle entwickeln oder von Grund auf trainieren. Der Umfang der Implementierung bestimmt, welche Sicherheitskontrollen intern und welche vom Anbieter verwaltet werden.

Fünf Implementierungsbereiche

1. Auf der grundlegendsten Ebene liegt bei KI-Anwendungen für Endverbraucher wie ChatGPT, Claude oder Gemini nahezu die gesamte Sicherheitsverantwortung beim Anbieter. Der Anbieter kümmert sich um die Sicherheit des Modells, den Schutz der Infrastruktur, grundlegende Schutzmechanismen und den Datenschutz. Das Unternehmen konzentriert sich darauf, Richtlinien für die zulässige Nutzung festzulegen, den Benutzerzugriff zu kontrollieren und die Ausgaben im geschäftlichen Kontext zu validieren. Die Sicherheitsmaßnahmen zielen vor allem darauf ab, zu verhindern, dass Mitarbeitende sensible Daten eingeben, und Verstöße gegen Richtlinien zu überwachen.
2. Unternehmensanwendungen mit KI-Funktionen, wie Salesforce Einstein oder Microsoft Copilot, basieren auf einem Modell der geteilten Verantwortung. Die Anbieter sind für die Modellsicherheit, Kontrollen auf Anwendungsebene und die Integrationssicherheit zuständig, während der Kunde den rollenbasierten Zugriff, die Datenklassifizierung und die Workflow-Berechtigungen verwaltet. Der Sicherheitsschwerpunkt verlagert sich auf die Identitätsintegration, die Data Governance und die Audit-Protokollierung, mit der sich eine angemessene Nutzung nachweisen lässt.
3. Unternehmen, die vortrainierte Basismodelle über Plattformen wie Amazon Bedrock oder Azure OpenAI bereitstellen, übernehmen deutlich mehr Verantwortung für die Sicherheit. Während die Anbieter für die Sicherheit der Modelle und der Infrastruktur zuständig sind, verantwortet der Kunde das Prompt Engineering, die Retrieval-Architektur, die Filterung der Ausgaben und die Berechtigungen für Tools. Der Sicherheitsschwerpunkt erweitert sich auf die Integrität der Eingaben, die Vermeidung von Risiken bei den Ausgaben und eine umfassende Beobachtbarkeit des gesamten Systems.
4. Feinabgestimmte Modelle erhöhen die Sicherheitsverantwortung der Organisation zusätzlich. Die Anbieter verwalten lediglich die Infrastruktur und die Sicherheit des Basismodells, während der Kunde für die Aufbereitung der Trainingsdaten, die Sicherheit der Feinabstimmung, die Bereitstellungskontrollen und die gesamte Laufzeitsicherheit verantwortlich ist. Die Sicherheitsmaßnahmen müssen die Verhinderung von Datenvergiftung, die Modellbewertung und umfassende Schutzmechanismen über den gesamten Entwicklungs- und Produktionslebenszyklus hinweg abdecken.
5. Auf der komplexesten Stufe liegt bei selbst trainierten Modellen nahezu die gesamte Sicherheitsverantwortung bei der Organisation. Die Anbieter verwalten lediglich die Infrastruktur, während der Kunde für sämtliche Aspekte der Modellentwicklung, die Sicherheit der Trainingspipeline, die Bereitstellung und die Laufzeitkontrollen verantwortlich ist. Der Sicherheitsfokus erstreckt sich über den gesamten Lebenszyklus – von der Datenerfassung über die Produktionsüberwachung bis hin zur Reaktion auf Sicherheitsvorfälle.

Das Modell der geteilten Verantwortung verstehen

Der Implementierungsumfang bestimmt maßgeblich die Sicherheitsverpflichtungen des Kunden. Bei KI-Anwendungen für Endverbraucher liegt der Großteil der Sicherheitsverantwortung beim Anbieter – das Unternehmen konzentriert sich darauf, die Nutzung dieser Dienste durch die Mitarbeitenden zu regeln. Bei Unternehmensanwendungen trägt der Kunde mehr Verantwortung für die Identitätsintegration und Data Governance, während die Anbieter die zugrunde liegende Infrastruktur absichern. Bei vortrainierten Basismodellen verlagert sich ein erheblicher Teil der Sicherheitsverantwortung auf das Unternehmen, einschließlich Prompt Engineering, Retrieval-Architektur und umfassender Laufzeitkontrollen. Bei feinabgestimmten und selbst trainierten Modellen liegt schließlich nahezu die gesamte Sicherheitsverantwortung beim Kunden – von der Aufbereitung der Trainingsdaten über die Produktionsüberwachung bis hin zur Reaktion auf Sicherheitsvorfälle.

Dieses Modell der geteilten Verantwortung entspricht der bereits etablierten Funktionsweise der Cloud-Sicherheit. Bevor mit der Planung der KI-Sicherheit begonnen wird, muss der Implementierungsumfang eindeutig festgelegt werden. Davon hängt ab, welche Sicherheitsfunktionen intern aufgebaut werden müssen, welche vom Anbieter verwaltet werden und in welchen Bereichen eine gemeinsame Aufsicht erforderlich ist. Ohne ein klares Verständnis und eine konsequente Berücksichtigung dieses Umfangs investieren Unternehmen möglicherweise übermäßig in Kontrollen, die bereits vom Anbieter übernommen werden, oder lassen kritische Lücken ungeschlossen.

Das neue Bedrohungsmodell: Warum herkömmliche Sicherheitsannahmen nicht mehr gelten

Die traditionelle Anwendungssicherheit basiert auf der Annahme begrenzter Eingaben, vorhersehbarer Ausführungspfade und deterministischer Ergebnisse. KI-Systeme verstoßen gegen jede dieser Annahmen und setzen sie häufig außer Kraft. Sie akzeptieren unstrukturierte Eingaben in natürlicher Sprache, erzeugen nichtdeterministische Antworten und behalten häufig den Kontext über mehrere Gesprächsrunden hinweg bei. Selbst wenn die umgebende Anwendung technisch ausgereift ist, führt das Modell probabilistisches Verhalten ein, das sich allein mit klassischer Bedrohungsmodellierung nur schwer beherrschen lässt.

Moderne KI-Implementierungen sind zudem komplexer als „Prompt rein, Antwort raus“. In realen Unternehmen sind KI-Systeme üblicherweise mit internen Dokumenten, Datenbanken, APIs und externen Diensten verbunden. Eine gängige Architektur ist die abrufgestützte Generierung (Retrieval-Augmented Generation, RAG), bei der das Modell zur Laufzeit dynamisch externe Inhalte (etwa Richtliniendokumente, Wissensdatenbankartikel oder Kundendatensätze) abruft, um komplexe Fragen genauer beantworten zu können, als es allein auf Grundlage seiner Trainingsdaten möglich wäre.

Viele Implementierungen gehen noch einen Schritt weiter und nutzen autonome oder agentenbasierte Systeme, die ohne direktes menschliches Eingreifen oder konkrete Anweisungen selbst entscheiden können, welche Schritte als Nächstes auszuführen sind. Diese KI-Agenten bestimmen ihre Aktionen durch die Interaktion mit externen Tools – programmatischen Schnittstellen, die die Fähigkeiten der KI über die reine Textgenerierung hinaus erweitern. Tools sind eigenständige Funktionen, die es KI-Systemen ermöglichen, mit externen Systemen zu interagieren und Aktionen auszuführen, beispielsweise Datenbanken abzufragen, REST-APIs aufzurufen, Code auszuführen, auf Dateisysteme zuzugreifen oder Unternehmensanwendungen anzusteuern. Im Gegensatz zur Retrieval-Augmented Generation (RAG), bei der Kontextinformationen zur Ausarbeitung von Antworten abgerufen werden, ermöglichen Tools KI-Systemen, Aktionen auszuführen und den Zustand nachgelagerter Systeme zu verändern.

Jedes Tool stellt eine Sicherheitsgrenze mit eigenen Berechtigungen und einem eigenen „Schadensradius“ dar. Wenn ein KI-Agent auf ein Tool zugreift, übernimmt er damit die Fähigkeit, sämtliche Aktionen auszuführen, die dieses Tool ermöglicht. Diese Funktionen steigern zwar Effizienz und Skalierbarkeit, vergrößern jedoch die Angriffsfläche auf eine Weise, mit der viele Sicherheitsteams nicht vertraut sind und die sich mit herkömmlichen Kontrollen nur schwer steuern lässt.

Ein altes Sprichwort besagt: „Es gibt nichts Neues unter der Sonne.“ Das gilt für Sicherheitsbedrohungen ebenso wie für alles andere im Leben. Daher müssen sich KI-Sicherheitsingenieure älterer Angriffsflächen wie Pufferüberläufen und Umgehungstechniken auf Netzwerkebene genauso bewusst sein wie KI-spezifischer Angriffsflächen. Gleichzeitig ist klar, dass die Bedrohungen für KI-Systeme weit über klassische Exploits hinausgehen.

Dazu gehören die Manipulation von Anweisungen (Prompt Injection), die Vergiftung des Kontexts durch abgerufene Inhalte, die Exfiltration von Daten über generierte Ausgaben, der Missbrauch übertragener Befugnisse in Systemen mit Tool-Zugriff sowie Beeinträchtigungsangriffe, die nicht die Vertraulichkeit, sondern die Zuverlässigkeit untergraben. Auf wie viele verschiedene Arten könnte eine KI beispielsweise eine US-Sozialversicherungsnummer (SSN) codieren oder verschleiern? Und auf wie viele Arten könnte eine KI überhaupt dazu verleitet werden, solche Informationen preiszugeben, wenn wir es mit Systemen zu tun haben, die potenziell aufgefordert werden können, die Rolle der Person zu übernehmen, deren personenbezogene Daten (PII) extrahiert werden?

Diese Bedrohungsmuster sind in standardisierten Testframeworks und -methoden anerkannter unabhängiger Prüforganisationen dokumentiert. Diese Frameworks bieten strukturierte Taxonomien KI-spezifischer Schwachstellen, die Unternehmen kennen und beheben sollten.

Die Kompetenzbereiche, auf die es wirklich ankommt

Bei der Bewertung von KI-Sicherheitslösungen für Einsatzszenarien in Unternehmen sollte der Fokus auf einigen wenigen Kompetenzbereichen liegen, die unmittelbar mit realen Risiken verknüpft sind. Diese Kompetenzen spiegeln wider, wie KI-Systeme in Produktivumgebungen eingesetzt werden und wie es in der Praxis zu Ausfällen kommt. Dabei müssen sie als integrierte Ebenen und nicht als eigenständige Kontrollmechanismen funktionieren.

KI-Modelle können die Sicherheitsgrenzen von Unternehmen nicht zuverlässig eigenständig durchsetzen. Sie behandeln Eingaben konzeptionsbedingt als Anweisungen und verfügen nicht über eine native, überprüfbare Semantik für die Zugriffskontrolle. Einschichtige Schutzmaßnahmen schaffen ausnutzbare Lücken: Eine hohe Eingabeintegrität ohne Ausgabevalidierung ermöglicht die indirekte Exfiltration von Daten durch RAG-Poisoning; eine Ausgabefilterung ohne Beobachtbarkeit verhindert die Erkennung schleichender Richtlinienabweichungen; agentenbasierte Kontrollen ohne Systemresilienz versagen unter hoher Belastung. Unternehmen, die diese Funktionen isoliert implementieren, erleben kaskadierende Ausfälle, wenn Angreifer eine Schutzebene umgehen und das Fehlen nachgelagerter Abwehrmaßnahmen ausnutzen. Ausgereifte KI-Sicherheitsarchitekturen behandeln diese Funktionen als voneinander abhängige Komponenten eines einheitlichen Abwehrsystems.

Diese Fähigkeiten lassen sich auch unmittelbar Governance-Fragestellungen zuordnen und liefern Antworten auf Fragen wie: Was ist erlaubt, was ist verboten, was wird überwacht, was wird protokolliert und was lässt sich im Nachhinein rechtfertigen?

Eingabeintegrität und Anweisungssteuerung

KI-Systeme reagieren in besonderem Maße auf Anweisungen, Kontext und Formulierungen. Anders als herkömmliche Anwendungen, bei denen Eingaben nach strengen Regeln verarbeitet und validiert werden, sind KI-Systeme bewusst darauf ausgelegt, natürliche Sprache flexibel zu interpretieren. Diese Flexibilität ermöglicht leistungsstarke neue Anwendungsfälle, eröffnet aber auch Möglichkeiten zur Manipulation.

Böswillige Akteure werden diese Flexibilität zunehmend über verschiedene Angriffsvektoren ausnutzen, darunter:

• Prompt-Injection: der direkte Versuch, Richtlinien außer Kraft zu setzen, indem Anweisungen wie „Ignoriere vorherige Anweisungen“, „Handle als Administrator“ oder „Lege deine Systemregeln offen“ gegeben werden.
• Indirekte Einbettung von Anweisungen: Dabei werden schädliche Anweisungen in Inhalte eingebettet, die das System später verarbeitet, beispielsweise eine Webseite, eine PDF-Datei, eine interne Wiki-Seite oder ein Kundensupport-Ticket.
• Kontextmanipulation: Dabei wird eine Konversation so beeinflusst, dass nicht vertrauenswürdige Eingaben fälschlicherweise als vertrauenswürdige Richtlinien angesehen oder über Systemanweisungen gestellt werden.

Das Risiko für Unternehmen besteht nicht nur darin, dass das Modell etwas Unangemessenes sagt. Vielmehr könnten falsch konfigurierte Sicherheitskontrollen außerhalb des Modells dazu führen, dass das KI-System dazu gebracht wird, nicht vertrauenswürdige Anweisungen als Richtlinie zu behandeln und anschließend seinen erweiterten Zugriff auf Daten und Tools entsprechend zu nutzen. Beispielsweise könnte ein manipulierter Wissensdatenbankartikel einen Assistenten anweisen, „der Vollständigkeit halber vollständige Kundendatensätze aufzunehmen“ oder „Schritte zur Fehlerbehebung für interne Systeme offenzulegen“, was zu einer unbeabsichtigten Offenlegung oder zu betrieblichen Schäden führen könnte.

Wirksame KI-Sicherheitskontrollen setzen Datenzugriffs- und Tool-Berechtigungen unabhängig von Prompt-Anweisungen durch. Sie müssen die Integrität der Systemanweisungen wahren, vertrauenswürdigen Systemkontext klar von nicht vertrauenswürdigen Eingaben unterscheiden und verhindern, dass externe Inhalte das Verhalten implizit verändern. Eine praxisnahe Frage für die Bewertung lautet, ob die Plattform Versuche zur Umgehung von Anweisungen erkennen und feststellen kann, wann abgerufene Inhalte Anweisungen statt Fakten enthalten, und ob sie nachweisen kann, dass Richtlinien auf Systemebene auch unter adversen Bedingungen weiterhin wirksam waren.

Management von Ausgaberisiken und Datenexfiltration

KI-generierte Ausgaben gehören zu den sichtbarsten Quellen von Unternehmensrisiken. Während sich Unternehmen häufig darauf konzentrieren, ausdrücklich unzulässige Inhalte zu blockieren, können Fehlfunktionen von KI zu subtileren Offenlegungen führen, die harmlos erscheinen – bis jemand fragt: „Hätte dieser Benutzer diese Information erhalten dürfen?“

KI-Systeme können sensible Informationen durch Schlussfolgerungen, die Zusammenführung von Daten oder eine teilweise Rekonstruktion offenlegen, anstatt sie direkt zu zitieren. Ein Modell könnte durch „hilfreiche Erklärungen“ interne Prompts oder Richtlinientexte preisgeben, proprietäre Codemuster offenlegen, vertrauliche Dokumente so zusammenfassen, dass strategische Informationen durchsickern, oder operative Details liefern, die die Effektivität von Angreifern erhöhen. In regulierten Bereichen kann selbst eine indirekte Offenlegung problematisch sein, wenn sie eine Re-Identifizierung ermöglicht oder geschützte Daten preisgibt.

Wenn KI-Systeme mit aktuellen Unternehmensdatenquellen verbunden sind, nehmen diese Risiken erheblich zu. Ein Support-Assistent, der ein CRM, ein Ticketsystem oder ein Dokumentenarchiv abfragen kann, könnte unbeabsichtigt Informationen offenlegen, die weit über die vermeintlichen Zugriffsrechte der anfragenden Person hinausgehen – insbesondere, wenn die Abfrage zu weit gefasst ist oder Identitätssignale nicht einheitlich berücksichtigt werden. Unternehmen müssen Identitäts- und Zugriffskontrollen einrichten, die im gesamten KI-System konsequent durchgesetzt werden – von der Benutzerauthentifizierung über den Datenabruf bis hin zur Ausgabeerstellung. Ohne diese Kontrollen werden Manipulationsversuche erfolgreich sein. Selbst in Unternehmen mit strengen Zugriffskontrollen kann KI Grenzen verwischen, indem sie mehrere Quellen zu einer einzigen zusammenhängenden Antwort kombiniert.

Das Management von Ausgaberisiken erfordert mehr als eine einfache Schlüsselwortfilterung. Kontrollmechanismen sollten erkennen, welche Daten offengelegt werden, warum sie sensibel sind und unter welchen Bedingungen eine Offenlegung zulässig ist. Unternehmen sollten prüfen, ob die Kontrollmechanismen mit der angemessenen Granularität arbeiten (Kategorien, Sensibilitätsstufen, Rechtsräume), ob Richtlinien rollenbezogen sind und ob das System nachvollziehbare Erklärungen liefert, wenn Ausgaben blockiert oder geändert werden. Aus Governance-Perspektive muss nachgewiesen werden können, dass Kontrollmechanismen für sensible Daten vorhanden sind und konsistent funktionieren.

Systemresilienz und Robustheit

Nicht alle KI-Fehler sind spektakulär. Einige der folgenschwersten Fehler treten unbemerkt auf, wenn Systeme unter Belastung an Leistungsfähigkeit verlieren. Lang andauernde Sitzungen, fehlerhafte Eingaben (einschließlich solcher, die unverhältnismäßig groß sind), wiederholte Anfragen oder ungewöhnlich komplexe Aufgaben können die konsequente Durchsetzung von Regeln beeinträchtigen, ohne einen offensichtlichen Ausfall zu verursachen. In solchen Situationen funktioniert das System zwar weiterhin, jedoch möglicherweise unsicher oder mit eingeschränkter Leistung.

Beeinträchtigte Systeme versagen häufig in einem offenen statt in einem geschlossenen Zustand. So kann es bei einem Sicherheitsklassifikator zu einer Zeitüberschreitung kommen, woraufhin er umgangen wird; ein Abrufschritt kann umfassendere Ergebnisse als beabsichtigt liefern; Ratenbegrenzungen können uneinheitlich angewendet werden; oder ein Werkzeugaufruf kann selbst dann ausgeführt werden, wenn eine Richtlinienprüfung fehlschlägt. In agentenbasierten Systemen, die mehrere Schritte miteinander verknüpfen, können sich geringfügige Beeinträchtigungen zu unsicheren Aktionen in nachgelagerten Schritten ausweiten.

Resilienz ist nicht nur ein Qualitätsmerkmal der Technik, sondern auch eine Frage der Governance. Eine Kontrollmaßnahme, die nur unter idealen Bedingungen funktioniert, ist keine wirksame Kontrollmaßnahme. Sicherheitsteams müssen bewerten, wie sich KI-Sicherheitskontrollen unter nicht idealen Bedingungen verhalten und ob Ausfälle frühzeitig erkannt und auf vorhersehbare Weise bewältigt werden. Dazu gehören Stresstests für Lastspitzen, bösartige Abfragemuster,

Interaktionen mit langen Kontexten und Ausfälle von Abhängigkeiten, etwa Latenzen beim Identitätsanbieter, Ausfälle des Abrufsystems oder Connector-Fehler.

Eine ausgereifte KI-Sicherheitsplattform sollte Unternehmen dabei unterstützen, nicht nur Angriffsarten, sondern auch Fehlerszenarien zu verstehen und zu bewältigen. Dazu gehören sichere Standardeinstellungen, eine klare Fehlerbehandlung, ein konsistentes Durchsetzungsverhalten bei Beeinträchtigungen von Subsystemen sowie operative Telemetriedaten, anhand derer Sicherheitsteams Leistungseinbußen erkennen können, bevor sie zu einem geschäftlichen Problem werden.

Richtliniengenauigkeit und Abwägungsmanagement

Sicherheitskontrollen, die technisch wirksam sind, aber betriebliche Abläufe beeinträchtigen, sind selten dauerhaft tragfähig. In KI-Umgebungen ist dieses Spannungsfeld besonders ausgeprägt, da Richtliniengrenzen häufig kontextabhängig und nicht binär sind. So kann dieselbe Anfrage beispielsweise für eine Rolle zulässig und für eine andere untersagt sein. Ebenso kann eine Antwort akzeptabel sein, wenn sie auf öffentlichen Quellen basiert, jedoch inakzeptabel, wenn sie aus internen Daten abgeleitet wurde. Welche Richtlinie die „richtige“ ist, ist letztlich eine Governance-Entscheidung und keine rein technische Frage.

Übermäßig restriktive Kontrollen können legitime Geschäftsaktivitäten behindern und die Nutzung von „Schatten-KI“-Systemen fördern, während eine unzureichende Durchsetzung Unternehmen rechtlichen Risiken und Reputationsrisiken aussetzt. Das richtige Gleichgewicht zu finden, ist nicht nur eine Frage der Feinabstimmung, sondern auch eine Governance-Entscheidung, die Risikotoleranz, Geschäftskontext und Anforderungen an die Rechenschaftspflicht berücksichtigt.

KI-Sicherheitsplattformen müssen Transparenz über falsch-positive und falsch-negative Ergebnisse schaffen, die Gründe für Entscheidungen erläutern und die Weiterentwicklung von Richtlinien im Rahmen eines strukturierten Änderungsmanagements ermöglichen. Wenn ein System eine Anfrage blockiert, müssen Unternehmen wissen, ob dies geschah, weil sie sensible Daten enthielt, als Versuch zur Umgehung von Anweisungen eingestuft wurde, dem Benutzer die erforderliche Berechtigung fehlte oder sie einem Hochrisikomuster entsprach. Ohne diese Klarheit können Teams die Kontrollen weder verantwortungsvoll abstimmen noch die Ergebnisse gegenüber der Unternehmensleitung oder externen Prüfern rechtfertigen.

Aus GRC-Sicht ist die Genauigkeit von Richtlinien auch ein Beleg für den Reifegrad. Intransparente, unvorhersehbare oder nicht anpassbare Kontrollen werden zu einem Risiko, da sie weder wirksam geprüft noch verteidigt werden können. Umgekehrt können anpassbare Kontrollen, denen es jedoch an Disziplin mangelt, durch Ad-hoc-Ausnahmen geschwächt werden. Ausgereifte Plattformen unterstützen ein strukturiertes Richtlinienmanagement, etwa durch Versionierung, Genehmigungsprozesse, rollenbasierte Anwendung und eine Berichterstattung, anhand derer die Führungsebene erkennen kann, ob das Risiko im Laufe der Zeit reduziert wird.

Deterministische Verifizierung für sicherheitskritische Entscheidungen

Probabilistische KI-Schutzmechanismen erkennen die meisten Richtlinienverstöße zuverlässig, doch bestimmte sicherheitskritische Entscheidungen erfordern mathematische Gewissheit statt statistischer Konfidenz. Autorisierungsrichtlinien, die Überprüfung der Einhaltung regulatorischer Vorgaben und Steuerungssysteme für sicherheitskritische Infrastrukturen können die inhärente Unsicherheit maschineller Lernsysteme nicht tolerieren.

Automatisiertes Schlussfolgern – unter Einsatz formaler Verifikationstechniken – ergänzt probabilistische Schutzmechanismen, indem es für bestimmte Kontrollpunkte nachweisbare Korrektheit gewährleistet. Im Gegensatz zur ML-basierten Erkennung, die Konfidenzwerte zuweist, weist automatisiertes Schlussfolgern mathematisch nach, ob eine Richtlinie unter allen möglichen Bedingungen eingehalten wird.

Deterministische Verifizierung ist in den folgenden Situationen wichtig:

• Autorisierungsentscheidungen: Überprüfung, ob die Richtlinien zur Zugriffskontrolle für alle Benutzerrollen und Datenklassifizierungen korrekt durchgesetzt werden
• Compliance-Validierung: Nachweis, dass regulatorische Anforderungen (Datenresidenz gemäß DSGVO, Zugriffsbeschränkungen gemäß HIPAA) vor der Bereitstellung erfüllt sind
• Sicherheitskritische Systeme: Sicherstellen, dass KI-Systeme, die physische Infrastruktur oder Finanztransaktionen steuern, nicht gegen Sicherheitsvorgaben verstoßen können

Unternehmen sollten ermitteln, für welche Kontrollen ein Nachweis erforderlich ist und bei welchen eine Erkennung ausreicht: Inhaltsfilterung und allgemeine Schutzmechanismen profitieren von der Flexibilität des maschinellen Lernens, während die Durchsetzung von Berechtigungen und die Validierung der Compliance die Gewissheit formaler Verifikation erfordern. Ausgereifte KI-Sicherheitsplattformen kombinieren beide Ansätze – probabilistische Erkennung für eine breite Abdeckung von Bedrohungen und deterministische Verifikation für Kontrollen, die niemals versagen dürfen.

Organisationen sollten ermitteln, welche Kontrollen einen formalen Nachweis erfordern und bei welchen eine Erkennung ausreicht: Inhaltsfilterung und allgemeine Schutzmechanismen profitieren von der Flexibilität des maschinellen Lernens; die Durchsetzung von Berechtigungen und die Validierung der Compliance erfordern hingegen die Gewissheit formaler Verifikation. Ausgereifte KI-Sicherheitsplattformen kombinieren beide Ansätze – probabilistische Erkennung für eine breite Abdeckung von Bedrohungen und deterministische Verifikation für Kontrollen, die niemals versagen dürfen.

Agentenbasierte KI und delegierte Befugnisse

Mit der Entwicklung von KI-Systemen von passiven Assistenten zu aktiven Teilnehmern an organisatorischen Arbeitsabläufen entsteht eine neue Risikoklasse: delegierte Befugnisse. Agentenbasierte KI-Systeme können selbstständig externe Tools aufrufen, APIs ansprechen, Datensätze ändern oder Arbeitsabläufe auslösen. Im Grunde agieren sie wie digitale Mitarbeiter mit weitreichenden Zugriffsrechten und hoher Geschwindigkeit.

Dies wirft bekannte Governance-Fragen in einem ungewohnten Kontext auf. Zu welchen Handlungen ist das System befugt und unter welchen Bedingungen? Wie werden Berechtigungen eingeschränkt? Wie wird eine Eskalation verhindert? Wie wird die Funktionstrennung gewährleistet? Ohne klare Grenzen für die Autonomie können sich kleine Fehler schnell über mehrere Systeme hinweg ausbreiten. Ein Modell, das die Absicht eines Benutzers falsch interpretiert, könnte eine E-Mail an die falschen Empfänger senden, ein Ticket mit vertraulichen Informationen erstellen, eine Aktion genehmigen, die einer Überprüfung bedurft hätte, oder einen Datensatz so ändern, dass dadurch nachgelagerte betriebliche Folgen ausgelöst werden.

Wirksame Kontrollen müssen das Prinzip der geringsten Rechte durchsetzen, die unbefugte Nutzung von Tools verhindern und die Nachvollziehbarkeit gewährleisten. Dazu gehören: die explizite Verwaltung von Tool-Berechtigungen; die Beschränkung von Aktionen mit weitreichenden Auswirkungen (insbesondere solcher, die den Systemzustand verändern); die Anforderung einer Bestätigung für Aktionen mit moderaten Auswirkungen (etwa das Verfassen, aber nicht das Versenden externer Mitteilungen, das Vorschlagen von Konfigurationsänderungen, ohne sie anzuwenden, oder das Vorbereiten, aber nicht das Ausführen von Datenabfragen); sowie die Anforderung einer menschlichen Genehmigung für sensible Vorgänge (etwa die Änderung von Finanzunterlagen oder Zugriffsberechtigungen, die Ausführung privilegierter Infrastruktur-Befehle, die Einleitung externer Kommunikation im Namen der Organisation oder die Genehmigung von Transaktionen). Dazu gehört auch das Erkennen unsicherer Aktionsketten, bei denen eine Abfolge einzeln zulässiger Aktionen zu einem Ergebnis führt, das ohne Aufsicht niemals eintreten dürfte.

Eine praktische Möglichkeit, diese Fähigkeit zu bewerten, besteht darin, zu prüfen, ob das System abgestufte Autonomie durchsetzen kann – indem es beispielsweise unbedenkliche Aktionen uneingeschränkt zulässt, bei Aktionen mit moderaten Auswirkungen eine Bestätigung verlangt und Aktionen mit weitreichenden Auswirkungen untersagt oder zur Genehmigung eskaliert. Governance-Verantwortliche sollten agentische KI als Delegationsproblem und nicht als Modellproblem betrachten. Wenn Sie einem unerfahrenen Mitarbeiter nicht die alleinige Befugnis erteilen würden, eine bestimmte Aktion auszuführen, sollten Sie diese auch keinem KI-Agenten erteilen.

Beobachtbarkeit, Auditierung und Forensik

Wenn in einem KI-System etwas schiefläuft, lautet die wichtigste Frage nicht einfach, was passiert ist, sondern ob das Unternehmen klar darlegen kann, wie und warum es dazu kam. Im Unternehmensumfeld entscheidet die Fähigkeit, belastbare Belege für ein Problem vorzulegen, darüber, ob ein Vorfall erklärt und abgeschlossen werden kann oder sich zu einem langwierigen Governance-Problem entwickelt.

Ohne ausreichende Transparenz müssen sich Sicherheitsteams bei der Reaktion auf Vorfälle auf unvollständige Protokolle, Annahmen und ihre Intuition verlassen. Dies beeinträchtigt die Governance, da sich Richtlinien und Kontrollen weder nachweisen noch rechtfertigen oder verbessern lassen, wenn ihr Verhalten im Nachhinein nicht untersucht und gemessen werden kann. Dies gilt insbesondere für KI-Systeme, bei denen Nichtdeterminismus und Kontext dazu führen können, dass Ergebnisse nur schwer oder gar nicht reproduzierbar sind.

KI-Sicherheitsplattformen müssen eine detaillierte Protokollierung, eine eindeutige Zuordnung und zeitnahe Warnmeldungen bieten. Unternehmen sollten zudem in der Lage sein, KI-Interaktionen lückenlos zu rekonstruieren: die empfangene Eingabe, den angewandten Identitäts- und Autorisierungskontext, die abgerufenen Inhalte (sofern zutreffend), die geltenden Systemanweisungen, die Modellausgabe sowie alle ausgelösten Tools oder nachgelagerten Aktionen. Wenn eine Kontrollmaßnahme eingreift – etwa indem sie eine Anfrage blockiert, eine Ausgabe verändert oder eine Aktion verhindert –, sollte sie protokollieren, warum und auf Grundlage welcher Richtlinie dies geschieht.

Aus GRC-Sicht ist die Auditierbarkeit unerlässlich. Von Unternehmen wird erwartet, dass sie nachweisen können, dass Kontrollen vorhanden waren und wie vorgesehen funktionierten, dass Ausnahmen angemessen behandelt und Änderungen im Laufe der Zeit nachverfolgt wurden.

Warum KI-Sicherheit ohne GRC scheitern wird

KI-Systeme arbeiten mit einer Geschwindigkeit und in einem Umfang, mit denen traditionelle Governance-Prozesse nicht Schritt halten können. Wenn es zu Ausfällen kommt, werden Unternehmen danach beurteilt, ob sie Kontrolle, Absicht und Verantwortlichkeit nachweisen können. In diesem Umfeld ist KI-Sicherheit, die von Governance, Risikomanagement und Compliance losgelöst ist, von Grund auf anfällig.

Aufsichtsbehörden und Vorstände werden wissen müssen, ob Risiken erkannt wurden, ob die Kontrollmaßnahmen angemessen waren und ob Entscheidungen nachvollziehbar sind. Sicherheitsteams, die keine Nachweise vorlegen können, werden Schwierigkeiten haben, die Ergebnisse zu rechtfertigen – unabhängig von ihren Absichten.

GRC-Funktionen spielen eine entscheidende Rolle dabei, technische Kontrollen in belastbare Unternehmenspraktiken zu überführen. Dazu gehören die Festlegung der zulässigen Nutzung, die Dokumentation von Risikoentscheidungen, die Validierung der Wirksamkeit von Kontrollen sowie die Sicherstellung, dass Änderungen im Laufe der Zeit nachverfolgt, überprüft und revisionssicher dokumentiert werden.

Fazit: KI-Governance auf Unternehmensebene

KI ist längst keine Randtechnologie mehr, sondern entwickelt sich zu einer zentralen Infrastruktur, die prägt, wie Unternehmen arbeiten, konkurrieren und Entscheidungen treffen.

Da KI-Systeme zunehmend in geschäftskritische Prozesse eingebettet werden, müssen Unternehmen den Übergang von der Erprobung zur Übernahme von Verantwortung bewusst gestalten. Dies erfordert klarere Anforderungen an Anbieter von KI-Sicherheitslösungen, darunter Transparenz hinsichtlich bestehender Einschränkungen, die Unterstützung unabhängiger Validierungen und die Verpflichtung zu kontinuierlichen Verbesserungen anstelle einer einmaligen Zusicherung.

Verantwortlichkeit erfordert auch eine interne Abstimmung. Die Verantwortlichen aus den Bereichen Sicherheit, IT, Recht, Risikomanagement und den Geschäftsbereichen müssen sich auf die Risikotoleranz, Eskalationswege und Reaktionsstrategien einigen, bevor es zu Vorfällen kommt. KI-Sicherheit liegt nicht in der Zuständigkeit eines einzelnen Teams, sondern ist eine gemeinsame Verantwortung des gesamten Unternehmens.

Die Unternehmen, die mit KI erfolgreich sein werden, sind diejenigen, die Innovation mit Disziplin verbinden. Innovation allein schafft keinen dauerhaften Wettbewerbsvorteil; nachhaltiger Erfolg entsteht, wenn Risiken bei der Skalierung von Systemen verstanden, messbar gemacht und gesteuert werden. Bei wirksamer KI-Sicherheit geht es nicht darum, Unsicherheit zu beseitigen, sondern sie transparent, verantwortungsvoll und auf eine Weise zu handhaben, die einer kritischen Prüfung standhält.

© 2026 NSS Labs. Alle Rechte vorbehalten. Die Nutzungsbedingungen sowie die Richtlinie zu Urheberrecht und Zitaten von NSS Labs finden Sie hier: https://nsslabs.com/terms-of-service/