Bewertung der KI-Sicherheit im Unternehmen: Fragen, die jeder Käufer beantworten können sollte

Die Sicherheit von KI in Unternehmen entwickelt sich rasant, und die meisten Organisationen tun sich nach wie vor schwer damit, die Aussagen von Anbietern gründlich zu prüfen. Dieses in Zusammenarbeit mit F5, AWS und Microsoft erstellte Forschungspapier von NSS Labs liefert Sicherheitsverantwortlichen und Unternehmenskunden konkrete Fragen, die sie Anbietern stellen sollten, zeigt Warnsignale auf, auf die sie achten müssen, und nennt die Bewertungskriterien, die sie benötigen, um fundierte und nachvollziehbare Entscheidungen zur KI-Sicherheit zu treffen.

Zusammenfassung

Bei der Sicherheit von Unternehmens-KI gibt es ein Problem auf Käuferseite. Unternehmen wissen, dass KI-Sicherheit wichtig ist, doch den meisten fehlt ein verlässlicher Rahmen, um die Aussagen von Anbietern zu bewerten, wirksame Kontrollen von oberflächlichen Maßnahmen zu unterscheiden oder Anbieter anhand realer Nachweise zur Verantwortung zu ziehen.

Dieses Whitepaper – der zweite Teil einer zweiteiligen Reihe von NSS Labs, die in Zusammenarbeit mit F5, AWS und Microsoft entwickelt wurde – geht über die Definition des Problems hinaus und versetzt Käufer in die Lage, entsprechend zu handeln. Während Teil 1 darlegte, warum es nicht ausreicht, nur das KI-Modell abzusichern, leitet Teil 2 daraus praktische Bewertungskriterien für sieben zentrale Kompetenzbereiche ab.

Das zentrale Argument: Kaufentscheidungen im Bereich der KI-Sicherheit sind Governance-Entscheidungen und nicht nur technische Entscheidungen. Käufer sollten messbare Nachweise verlangen, keine Architekturdiagramme. Das bedeutet quantitative Ausgangswerte für die Erkennungseffektivität, die operative Leistung, die Audit-Anforderungen und die Ausrichtung an Frameworks – alles validiert unter realen Bedingungen und nicht anhand isolierter Testszenarien.

Die sieben in dem Papier untersuchten Kompetenzbereiche sind die Kontrolle von Eingabebedrohungen und Anweisungen, Risiken bei Ausgaben und Datenexfiltration, die Systemresilienz bei Leistungseinbußen, die Governance von Richtlinien und Filtern, agentenbasierte KI und delegierte Befugnisse, Beobachtbarkeit und Forensik sowie Integration und Interoperabilität. In jedem Abschnitt wird das jeweilige Kernrisiko mit konkreten Fragen verknüpft, die Käufer den Anbietern stellen sollten, sowie mit Merkmalen effektiver Lösungen und konkreten Warnsignalen, auf die zu achten ist.

Das Papier schließt mit zwei klaren Forderungen: Verlangen Sie vor dem Kauf eine unabhängige Validierung und betrachten Sie diese als fortlaufende Praxis statt als einmalige Prüfung. Anbieter, die sich aussagekräftigen Tests widersetzen, signalisieren mangelnde Reife, nicht Stärke.

Unterm Strich sind es drei Sätze aus dem Fazit, die man ernst nehmen sollte: Der Kauf von KI-Sicherheitslösungen ist eine Governance-Entscheidung mit langfristigen Folgen. Unternehmen, die von Anfang an die schwierigen Fragen stellen, sind besser aufgestellt, um Risiken zu steuern und vermeidbare Fehler zu verhindern. Und KI-Sicherheit wird nicht durch Neuartigkeit oder Abstraktion erfolgreich sein, sondern nur durch Verantwortlichkeit, Transparenz und eine konsequente Bewertung.

Inhaltsverzeichnis

Einleitung: Von der Wahrnehmung zur Bewertung

Festlegung quantitativer Bewertungskriterien

Kritische Kompetenzbereiche und Fragen, die Käufer stellen sollten

• Erkennung von Bedrohungen in Eingaben, Manipulation von Anweisungen und Umgehungsversuchen
• Risikomanagement für Ausgabe- und Datenexfiltration
• Umgang mit Resilienz, Robustheit, Ausfällen und Leistungseinbußen
• Wirksamkeit von Richtlinien und Filtern sowie Abstimmung auf Governance-Vorgaben
• Agentische KI, Sicherheit bei Werkzeugaufrufen und delegierte Befugnisse
• Beobachtbarkeit, Auditierung und Forensik
• Integration und Interoperabilität

Was Käufer vor dem Kauf verlangen sollten

Vorbereitung auf eine unabhängige Validierung

Fazit: Von Behauptungen zur Rechenschaftspflicht

TEIL 1 HERUNTERLADEN: KI-Sicherheit über das Modell hinaus: Worauf Unternehmen achten müssen – und warum

Einleitung: Von der Wahrnehmung zur Bewertung

Da KI in verschiedenen Formen zunehmend Einzug in Unternehmenssysteme hält, entstehen neue Angriffsflächen, die Unternehmen dazu zwingen, sich mit KI-Sicherheitsrisiken auseinanderzusetzen. Aufsichtsgremien, Regulierungsbehörden und Führungsteams erkennen zunehmend, dass KI-Systeme neben der wachsenden Angriffsfläche auch neue Kategorien operativer, rechtlicher und reputationsbezogener Risiken mit sich bringen. Daher rücken KI-Sicherheitsprodukte, die diese Risiken reduzieren sollen, nun verstärkt in den Fokus der Sicherheitsteams von Unternehmen.

Dieses Bewusstsein bedeutet jedoch nicht automatisch, dass Unternehmen auch entsprechend vorbereitet sind. Zwar erkennen sie zunehmend die Bedeutung von KI-Sicherheit an, doch fällt es vielen schwer, die Aussagen von Anbietern in diesem noch jungen Markt fundiert zu bewerten. Die Terminologie ist uneinheitlich, Demonstrationen sind häufig eng begrenzt und Zusicherungen stützen sich oft eher auf die Architektur als auf Belege aus der Praxis. Käufer müssen daher Entscheidungen treffen, ohne klar beurteilen zu können, welche Kontrollen tatsächlich wirksam und welche nur oberflächlich sind – oder wie umfassend der Schutz wirklich ist.

In unserem vorherigen Whitepaper mit dem Titel „AI Security Beyond the Model“ erläuterte NSS Labs, warum es nicht ausreicht, nur das KI-Modell abzusichern, und warum KI-Sicherheit in Unternehmen als Herausforderung auf System- und Governance-Ebene betrachtet werden muss. Die eigentlichen Sicherheitsherausforderungen entstehen in den Systemen rund um das Modell – dort, wo Daten abgerufen, Tools aufgerufen und automatisierte Entscheidungen ausgeführt werden.

Dieses Whitepaper baut auf dieser Grundlage auf und geht vom Verständnis des Problems zur Bewertung potenzieller Lösungen über. Zugleich unterstützt es Unternehmenskunden dabei, bei der Vorauswahl von Anbietern für KI-Sicherheit gezieltere Fragen zu formulieren. Im Einklang mit „AI Security Beyond the Model“ konzentriert sich dieses Whitepaper vor allem auf Laufzeit-Schutzmechanismen (Kontrollen außerhalb des Modells, die Richtlinien durchsetzen, Daten schützen und Prüfungsnachweise liefern). Dabei wird berücksichtigt, dass Modellsicherheit bzw. verantwortungsvolle KI zwar die inhärenten Modellrisiken reduziert, die Risiken bei der Interaktion im Unternehmenskontext jedoch nicht allein bewältigen kann. Da KI-Systeme zunehmend in Unternehmensabläufe eingebettet werden, überschneiden sich Sicherheitsentscheidungen immer stärker mit Governance, Risikomanagement und regulatorischer Rechenschaftspflicht. Unternehmen müssen nicht nur erklären können, wie KI-Systeme funktionieren, sondern auch, wie Risiken kontrolliert, überwacht und geprüft werden.

In den folgenden Abschnitten wird versucht, die zentralen Funktionsbereiche der KI-Sicherheit als Bewertungskriterien neu zu formulieren. Statt bestimmte Technologien oder Architekturen vorzuschreiben, konzentrieren sie sich darauf, was Käufer bei der Auswahl von KI-Sicherheitskontrollen für Produktionsumgebungen nachvollziehen, testen und begründen können sollten.

Festlegung quantitativer Bewertungskriterien

Die Bewertung der KI-Sicherheit erfordert, über qualitative Aussagen hinauszugehen und eine messbare Validierung vorzunehmen. Käufer sollten grundlegende Anforderungen festlegen, die einen objektiven Vergleich von Anbietern ermöglichen.

Erkennungswirksamkeit: Anbieter sollten ihre Erkennungsfähigkeiten anhand standardisierter Testframeworks und -methoden anerkannter unabhängiger Prüforganisationen nachweisen. Unternehmen sollten messbare Genauigkeitsraten bei bekannten Angriffsmustern erwarten können, wobei die Anbieter die Testmethodik, die Grenzen der Abdeckung und die Abwägungen hinsichtlich falsch positiver Ergebnisse offenlegen sollten. Bei der Verhinderung der Offenlegung sensibler Daten sollte zwischen strukturierten Datentypen und kontextbezogenen sensiblen Informationen unterschieden werden. Dabei sollte die Erkennungsgenauigkeit über verschiedene Basismodelle und Komplexitätsgrade von Prompts hinweg konstant bleiben.

Betriebliche Leistung: Käufer sollten Latenzschwellenwerte festlegen, die Sicherheit und Benutzerfreundlichkeit in Einklang bringen. Systeme sollten ihre Leistungsfähigkeit unter produktionsnaher Auslastung und nicht nur unter isolierten Testbedingungen nachweisen. Auch die Falsch-Positiv-Rate ist relevant – zu viele Fehlalarme führen zu Alarmmüdigkeit und fördern die Nutzung nicht genehmigter KI-Lösungen. Anbieter sollten in der Lage sein, aussagekräftige Produktionskennzahlen über längere Zeiträume bereitzustellen.

Audit-Anforderungen: Die Einhaltung gesetzlicher Vorschriften setzt eine umfassende Protokollierung voraus, die genügend Details enthält, um Vorfälle auch Monate später rekonstruieren zu können. Ereignisse sollten mit minimaler Latenz in Standardformaten an das SIEM-System exportiert werden. Die Anforderungen an die Aufbewahrungsdauer variieren je nach Branche und Anwendungsfall.

Ausrichtung an Frameworks: Anbieter sollten ihre Kontrollen etablierten Frameworks anerkannter unabhängiger Prüforganisationen zuordnen. Käufer sollten von den Anbietern verlangen, diese Fähigkeiten anhand standardisierter Testsätze und Stichproben des Produktivdatenverkehrs nachzuweisen. Eine unabhängige Validierung durch Dritte liefert verlässliche Belege für die Wirksamkeit der Kontrollen.

Kritische Funktionsbereiche und Fragen, die Käufer stellen sollten

Auf der grundlegendsten Ebene können Sicherheitsvorkehrungen für Modelle schädliche Prompts blockieren, unzulässige Inhalte herausfiltern und einfache Nutzungsregeln durchsetzen. Diese Funktionen sind notwendig, doch viele schwerwiegende Ausfälle von KI-Systemen in Unternehmen sind nicht auf fehlende Regeln zurückzuführen, sondern auf mangelnden Kontext, unzureichende Resilienz und fehlende Transparenz.

Beispielsweise kann ein KI-System alle festgelegten Inhaltsrichtlinien einhalten und dennoch durch Aggregation, Schlussfolgerungen oder eine unangemessene Vermischung von Kontexten sensible Informationen offenlegen. Ebenso kann ein System unter normalen Bedingungen die richtigen Regeln durchsetzen, aber unter hoher Last, bei Teilausfällen oder beim Ausfall von Abhängigkeiten auf unvorhersehbare Weise versagen.

Erkennung von Eingabebedrohungen, Anweisungsmanipulation und Umgehungsversuchen

Die meisten KI-Sicherheitskontrollen geben vor, „Prompts zu filtern“ oder „schädliche Eingaben zu blockieren“. Diese Darstellung greift jedoch häufig zu kurz. Bei den meisten KI-Systemen entstehen Risiken nicht nur durch direkte Benutzereingaben, sondern auch durch Anweisungen, die in Inhalte eingebettet sind, welche von nachgelagerten Systemen verarbeitet werden. Dabei kann es sich um Dokumente, Webseiten, Tickets, E-Mails oder Wissensdatenbanken handeln, deren Inhalte vertrauenswürdig genug sein müssen, um als maßgeblicher Kontext behandelt zu werden.

Autoren

Bob Walder – Senior Analyst, NSS Labs
lan Foo – Chief Technology Officer und Executive Vice President of Product, NSS Lab

Mitwirkende

Diese Studie entstand in Zusammenarbeit mit führenden Fachleuten aus den Bereichen Sicherheit, Cloud und KI aus der gesamten Branche.

Cameron Delano – Senior Solutions Architect, F5
Jeanette Hurr – Global Solutions Architect, F5
Riggs Goodman III – Principal Solutions Architect für KI-Sicherheit und Datenschutz, AWS
Raj Bagwe – Senior Solutions Architect, AWS
Zachary Riffle – Sicherheitsarchitekt, Microsoft

Käufer sollten sich erkundigen, wie ein System zur Laufzeit zwischen Systemanweisungen, den Vorgaben der Entwickler, abgerufenen Inhalten und Benutzereingaben unterscheidet. Bei Architekturen, die Retrieval-Augmented Generation (RAG) verwenden, ist diese Unterscheidung von entscheidender Bedeutung. Wenn abgerufene Inhalte Systemrichtlinien implizit außer Kraft setzen können, ist das System anfällig für indirekte Prompt-Injection-Angriffe – selbst wenn keine offensichtlich bösartige Anfrage gestellt wird.

Unternehmen sollten klare Antworten auf Fragen wie die folgenden erwarten:

• Wie zuverlässig kann das System Anfragen und Anweisungen erkennen, bewerten und blockieren, die gegen Richtlinien verstoßen?
• Wie gut kann das System Versuche erkennen und verhindern, das vorgesehene Systemverhalten durch Eingabeaufforderungen außer Kraft zu setzen?
• Wie gut geht das System mit mehrdeutigen oder grenzwertigen Eingaben um, bei denen die Absicht unklar ist, und minimiert dabei zugleich Beeinträchtigungen der legitimen Nutzung?
• Wie wirksam kann das System verhindern, dass in übermittelten Inhalten eingebettete Anweisungen das Modell auf unbeabsichtigte Weise beeinflussen?
• Wie effektiv kann das System Versuche abwehren, Kontrollmechanismen durch ungewöhnliche Formatierungen, Kodierungen oder Umformulierungen des Prompts zu umgehen?
• Wie gut gelingt es dem System, Sicherheit und legitime rollenbasierte Anwendungsfälle (z. B. Trainingssimulationen, Red Teaming, kreative Arbeit) in Einklang zu bringen, ohne leicht ausnutzbare Umgehungsmöglichkeiten zu schaffen?
• Wie wirksam verhindert das System, dass Benutzer (oder externe Inhalte) System-/Agentenanweisungen, Routingregeln, Einschränkungen für die Werkzeugnutzung oder andere Kontrollen mit „höherer Priorität“ beeinflussen oder außer Kraft setzen?
• Ist das System in der Lage, die Nutzung des Modells wirksam zu erkennen, zu identifizieren und zu regulieren, um missbräuchliche oder übermäßige (über die Richtlinien hinausgehende) Nutzung und Kosten zu verhindern?
• Kann das System in Protokollen anzeigen, welche Anweisungsquelle bei Konflikten Vorrang hatte (System vs. Entwickler vs. Abruf vs. Benutzer)?

In der Praxis treten Fehler in diesem Bereich häufig auf, ohne dass eine offensichtlich bösartige Eingabeaufforderung vorliegt. Stattdessen entstehen sie dadurch, wie nicht vertrauenswürdige Inhalte in den KI-Kontext eingebracht werden. Ein Angreifer kann versteckte Anweisungen in ein Dokument einbetten – beispielsweise in eine Richtlinie, eine interne Wiki-Seite oder einen Kundensupportartikel –, das später über eine komplexe, auf mehreren Quellen basierende Retrieval-Pipeline in das KI-System eingespeist wird. Wenn das Modell diese Inhalte abruft, kann es die darin eingebetteten Anweisungen als verbindliche Vorgaben statt als nicht vertrauenswürdige Eingaben behandeln. In Unternehmensumgebungen, in denen interne Inhalte von vielen Personen bearbeitet werden können, ist diese Form der indirekten Prompt-Injection unter Umständen besonders schwer zu erkennen.

So ist es beispielsweise weder notwendig noch aus Sicht eines Bedrohungsakteurs unbedingt wünschenswert, dass eine einzelne veränderte Informationsquelle Verdacht erregt und dadurch verhindert, dass unmittelbar schwerwiegender Schaden angerichtet wird. Stattdessen können geringfügige Änderungen an mehreren Datenquellen die bessere Strategie sein. Sie können im Laufe der Zeit zu subtilen, aber dauerhaften Veränderungen des Systemverhaltens führen, etwa indem Antwortbeschränkungen gelockert, interne Arbeitsabläufe offengelegt oder von Angreifern kontrollierte Kontextinformationen gegenüber Systemrichtlinien priorisiert werden. Letztlich kann dies zur Extraktion sensibler Daten in größerem Umfang führen.

Käufer sollten daher prüfen, ob KI-Sicherheitskontrollen sämtliche abgerufenen Inhalte als potenziell schädlich behandeln und ob die Grenzen für Anweisungen unabhängig von deren Ursprung konsequent durchgesetzt werden.

Effektive Lösungen unterscheiden mit hoher Genauigkeit zwischen Benutzereingaben und abgerufenen Inhalten. Enthalten Benutzer-Prompts Versuche, Anweisungen außer Kraft zu setzen, blockieren die Systeme diese; kommen ähnliche Formulierungen hingegen in legitimen Supportartikeln vor, werden sie angemessen verarbeitet. Die Erkennung basiert auf der semantischen Absicht und nicht auf Schlüsselwörtern, sodass auch verschleierte Angriffe durch manipulierte Codierung oder Rollenspielszenarien erkannt werden. Anbieter müssen die Erkennung anhand der tatsächlichen RAG-Architektur des Unternehmens mit Abruf aus mehreren Quellen demonstrieren. Die Systeme sollten aussagekräftige Produktionskennzahlen über relevante Zeiträume bereitstellen, darunter Erkennungsraten, Falsch-Positiv-Raten und Latenzzeiten.

Warnsignale sind unter anderem: das Vertrauen auf generische Prompt-Filterung; vage Zusicherungen, dass „das Modell damit umgehen kann“; die Unfähigkeit, die Durchsetzung von Anweisungsgrenzen unter adversarialen Bedingungen nachzuweisen; das Versäumnis, Produktionsmetriken über aussagekräftige Zeiträume bereitzustellen; die Unfähigkeit, die Erkennung anhand der unternehmenseigenen RAG-Architektur zu demonstrieren; sowie eine rein schlüsselwortbasierte Erkennung ohne Analyse der semantischen Absicht.

Bei der Eingabeintegrität geht es nicht darum, bösartige Formulierungen zu blockieren, sondern die Geltung von Richtlinien in dynamischen, nicht vertrauenswürdigen Umgebungen zu wahren.

Risikomanagement für Ausgabe und Datenexfiltration

KI-generierte Ausgaben stellen eindeutig ein erhebliches Risiko dar, da ein nicht menschlicher Agent möglicherweise Daten aus vielen verschiedenen Systemen abgerufen hat, um seine Antwort zu formulieren, und diese Antwort externen Nutzern unter Umständen mehr Informationen offenlegt als ursprünglich beabsichtigt. Bei vielen folgenschweren Fehlern geht es nicht um ausdrücklich unzulässige Inhalte, sondern vielmehr um die unbeabsichtigte Offenlegung von Informationen, die einem bestimmten Nutzer in einem bestimmten Kontext zu einem bestimmten Zeitpunkt nicht hätten zugänglich gemacht werden dürfen.

Ein Angreifer oder unbefugter Benutzer kann eine Reihe von Fragen stellen, die auf den ersten Blick harmlos erscheinen und einzeln zulässige Daten liefern, in ihrer Gesamtheit jedoch Rückschlüsse auf sensible Informationen oder deren Rekonstruktion ermöglichen. Beispielsweise könnte ein KI-Assistent, der mit internen Ticketing- und Dokumentationssystemen verbunden ist, betriebliche Probleme, Personalrollen oder Systemkonfigurationen so zusammenfassen, dass dadurch indirekt interne Architekturen oder regulierte Daten offengelegt werden. Solche Verstöße werden von Schlüsselwortfiltern nur selten erkannt. Das Risiko ergibt sich vielmehr aus der Zusammenführung der Informationen und ihrem Kontext. Käufer sollten prüfen, ob die Ausgabekontrollen die kumulative Offenlegung berücksichtigen und ob die Systeme erklären können, warum eine Antwort eingeschränkt wurde – eine wesentliche Voraussetzung für Governance und Auditierbarkeit.

Käufer sollten klare Antworten auf Fragen wie die folgenden erwarten:

• Wie ermitteln KI-Sicherheitskontrollen anhand des Kontexts, welche konkreten Informationen tatsächlich offengelegt werden, anstatt lediglich zu prüfen, welche Schlüsselwörter oder Formulierungen in der Ausgabe vorkommen?
• Kann das System zwischen öffentlichen Informationen, internen Informationen und regulierten Daten unterscheiden?
• Wie wirksam verhindert das System, dass das Modell in seinen Antworten sensible Daten preisgibt, selbst wenn die Anfrage des Benutzers legitim oder mehrdeutig erscheint?
• Welche Arten sensibler Daten deckt der Schutz ab (z. B. personenbezogene Daten, Finanzdaten, vertrauliche Unternehmensinformationen), und wie kann er an die Organisation angepasst werden?
• Berücksichtigen die Kontrollen die Benutzerrolle, die Rechtsordnung oder die Herkunft der Daten?
• Kann das System erklären, warum eine Ausgabe blockiert oder geändert wurde?
• Kann das System Kontrollen sowohl für Anfragen als auch für Antworten durchsetzen, einschließlich Ablehnung, Schwärzung und sicherer Transformation mit Auditnachweisen?
• Welche Maßnahmen kann das System ergreifen, um zu verhindern, dass das Modell sensible Daten ausgibt (blockieren, schwärzen, transformieren, warnen, eine zusätzliche Prüfung/Genehmigung verlangen)?
• Wie gut verhindert das System Prompt-Tricks und Umgehungsstrategien, mit denen versucht wird, das Modell zur indirekten Offenlegung von Daten zu verleiten (z. B. durch die Aufforderung, „Beispiele“, „Vorlagen“, „Testdaten“ oder „Zusammenfassungen“ bereitzustellen, die echte Informationen enthalten)?
• Kann das System sitzungs- oder mandantenübergreifende Datenlecks verhindern und erkennen und sicherstellen, dass Informationen aus der Sitzung, dem Kontext oder den abgerufenen Datenquellen eines Benutzers nicht in den Antworten eines anderen Benutzers erscheinen?
• Wie wirksam verhindert das System, dass das Modell System-Prompts, interne Anweisungen, verborgene Richtlinien oder Details zur Betriebskonfiguration offenlegt?
• Wie wirksam verhindert das System die Offenlegung von Zugangsdaten oder Geheimnissen (z. B. API-Schlüsseln oder Tokens), die möglicherweise in Trainingsdaten, im Systemkontext, in Protokollen, Konnektoren oder abgerufenen Inhalten enthalten sind?
• Wie wirksam verhindert das System, dass das Modell schädliche, abwertende oder stark voreingenommene Ausgaben erzeugt, insbesondere in Grenzfällen, in denen ein Benutzer das Modell gezielt provoziert?
• Wie gut kann das System verhindern, dass das Modell längere urheberrechtlich geschützte Passagen wortwörtlich ausgibt oder anderweitig geschützte Inhalte reproduziert?
• Wenn das Modell mit internen Unternehmensinhalten (z. B. Dokumenten, einem Wiki oder Ticketsystemen) verbunden ist, kann das System verhindern, dass es geschützte interne Inhalte wiedergibt, die über die Zugriffsberechtigung des Benutzers hinausgehen?
• Wie wirksam kann das System verhindern, dass das Modell einen Benutzer Schritt für Schritt durch schädliche Arbeitsabläufe führt oder ausführbare Artefakte (z. B. Skripte, Befehle oder Code) erzeugt, die Sicherheitslücken oder ein unsicheres Systemverhalten verursachen könnten?

Wenn KI-Systeme mit aktuellen Unternehmensdatenquellen verbunden sind, nehmen diese Risiken erheblich zu. Zudem kann es zu ausgabebezogenen Fehlern kommen, wenn KI-Systeme Informationen aus mehreren Quellen in einer einzigen Antwort zusammenführen.

Für die Bewertung von Ausgabekontrollen muss nachvollzogen werden, wie ausgereifte Lösungen mit der kontextabhängigen Offenlegung von Daten umgehen. Kontextbezogene Systeme erfassen die semantische Bedeutung und nicht nur Schlüsselwörter. Dadurch sollten strukturierte personenbezogene Daten (PII) blockiert werden, während öffentliche Informationen je nach Kontext zugelassen werden. Eine rollenbasierte Durchsetzung stellt sicher, dass verschiedene Benutzer bei identischen Abfragen abhängig von ihrer Berechtigungsstufe unterschiedliche Ausgaben erhalten. Systeme sollten eine kumulative Offenlegung über mehrere Sitzungen hinweg erkennen, bei der für sich genommen unbedenkliche Fragen in ihrer Gesamtheit sensible Informationen preisgeben. Entscheidungen über das Blockieren müssen konkrete Richtlinienverweise, Datentypen und Berechtigungsanforderungen enthalten. Die Integration in bestehende Richtlinien zur Datenklassifizierung vermeidet doppelte Konfigurationen.

Warnsignale sind unter anderem: eine rein schlagwortbasierte Filterung; undurchsichtige Durchsetzungsentscheidungen; die Unfähigkeit des Systems, eine rollenbasierte Durchsetzung nachzuweisen (z. B. liefert dieselbe Abfrage unabhängig von der Berechtigungsstufe des Benutzers dieselbe Ausgabe); die Unfähigkeit des Anbieters, in verständlicher Form zu erklären, warum eine bestimmte Ausgabe blockiert wurde; sowie fehlende Audit-Trails. Unternehmen sollten Nachweise dafür verlangen, dass Ausgabekontrollen Kontext, Absicht und Verantwortlichkeit berücksichtigen.

Ausfallsicherheit, Robustheit sowie Umgang mit Fehlern und Leistungseinbußen

Unternehmen sind es gewohnt, Sicherheitskontrollen anhand ihrer Wirksamkeit unter normalen Netzwerkbedingungen zu bewerten. Die Sicherheit von KI-Systemen erfordert jedoch eine andere Denkweise. Einige der schwerwiegendsten Ausfälle treten nicht auf, wenn Systeme direkt angegriffen werden, sondern wenn sie durch ein hohes Datenaufkommen, Komplexität, den Ausfall von Abhängigkeiten oder unerwartete Interaktionsmuster überlastet werden.

Wichtige Fragen wären:

• Wie gut gewährleistet das System Verfügbarkeit und Reaktionsfähigkeit bei ungewöhnlich langen oder komplexen Benutzerinteraktionen (z. B. „Marathonsitzungen“)?
• Werden Kontrollmechanismen während lang andauernder Sitzungen oder mehrstufiger Agenten-Workflows durchgängig angewendet?
• Wie verhindert das System eine Erschöpfung der Ressourcen oder eine Beeinträchtigung des Dienstes, wenn es plötzlich eine große Menge sich wiederholender, fehlerhafter oder unsinniger Eingaben erhält?
• Was passiert, wenn die KI-Sicherheitskontrollen beeinträchtigt werden?
• Kommt es bei Richtlinienprüfungen zu Zeitüberschreitungen, und schlägt die Durchsetzung im offenen oder geschlossenen Zustand fehl?
• Wie sorgt das System bei Ausfällen von Abhängigkeiten für ein ausgewogenes Verhältnis zwischen Sicherheit und Verfügbarkeit, und lässt sich dieses Verhalten konfigurieren und überprüfen?

KI-Systeme arbeiten in der Praxis unter wechselnden Bedingungen, etwa bei Nutzungsspitzen, Ausfällen vorgelagerter Systeme, langsamen Identitätsanbietern oder beeinträchtigten Abrufdiensten. In solchen Situationen können Durchsetzungskomponenten teilweise statt vollständig ausfallen. Beispielsweise kann es bei einem Dienst zur Richtlinienbewertung zu einer Zeitüberschreitung kommen oder ein Klassifizierungsschritt übersprungen werden, um die Reaktionsfähigkeit aufrechtzuerhalten. Werden solche Ausfälle nicht sorgfältig behandelt, können Systeme standardmäßig zu einem freizügigen Verhalten übergehen, ohne die Betreiber zu benachrichtigen. In agentenbasierten Workflows kann dies dazu führen, dass Aktionen ohne angemessene Prüfungen ausgeführt werden. Dabei handelt es sich nicht um hypothetische Randfälle, sondern um häufige Fehlermodi in verteilten Systemen. Käufer sollten daher auf Vorführungen bestehen, die zeigen, wie sich KI-Sicherheitskontrollen bei beeinträchtigten Abhängigkeiten verhalten und ob die Fehlermodi vorhersehbar, sichtbar und mit der Risikotoleranz des Unternehmens vereinbar sind.

Ein resilientes System sollte nicht einfach alles blockieren, wenn etwas schiefläuft, und ebenso wenig unsicheres Verhalten stillschweigend zulassen. Stattdessen sollte es seine Leistung auf vorhersehbare Weise reduzieren, Fehler klar melden und auch bei sich verschlechternden Bedingungen weiterhin angemessenen Schutz bieten.

Bei gut konzipierten Systemen sollten für jede Abhängigkeit explizite Fehlermodi dokumentiert sein. Bei Zeitüberschreitungen von Diensten sollten Systeme angemessen reagieren, Ereignisse protokollieren, Sicherheitsteams alarmieren und den Benutzern klare Meldungen anzeigen. Bei Belastungstests muss die Erkennungsgenauigkeit hoch bleiben, die Latenz innerhalb akzeptabler Grenzwerte liegen und es darf nicht möglich sein, Sicherheitsprüfungen durch Anfragen zu umgehen. Leistungseinbußen müssen vorhersehbar und unter Ausgabe von Warnmeldungen erfolgen, nicht unbemerkt, und Schutzschalter müssen außer Kontrolle geratene Prozesse unverzüglich beenden. Anbieter sollten Zielvorgaben für die Verfügbarkeit der Regeldurchsetzung und das Verhalten im Fehlerfall darlegen können. Ist die Regeldurchsetzung geschäftskritisch, können Käufer vertragliche Zusicherungen verlangen.

Warnsignale sind unter anderem: die Unfähigkeit, Fehlermodi zu beschreiben; fehlende Stresstests oder die Zusicherung, dass „das System in der Praxis noch nicht ausgefallen ist“; eine unbemerkte Leistungsverschlechterung ohne Warnmeldungen; fehlende Schutzschalter für außer Kontrolle geratene Prozesse; die Unfähigkeit nachzuweisen, dass die Erkennungsgenauigkeit auch unter Stresstests hoch bleibt; sowie Systeme, bei denen Anfragen während einer Leistungsverschlechterung Sicherheitsprüfungen umgehen können.

Wirksamkeit von Richtlinien und Filtern sowie Abstimmung mit der Governance

Technisch ausgereifte, aber operativ nicht abgestimmte KI-Sicherheitskontrollen bewähren sich nur selten im Kontakt mit der vordersten Front – dem operativen Geschäft. In Unternehmensumgebungen sind Richtlinienentscheidungen in der Regel weder binär noch unveränderlich, sondern letztlich Governance-Entscheidungen.

Käufer sollten fragen:

• Wie werden Richtlinien definiert, genehmigt, versioniert und geprüft?
• Können Richtlinien nach Rolle, Datensensibilität, geografischem Standort oder Geschäftskontext eingegrenzt werden?
• Kann das System erklären, warum eine Entscheidung getroffen wurde?
• Wie gut ermöglicht das System Richtlinien, die die unternehmensspezifischen Compliance-Anforderungen widerspiegeln (Branchenvorschriften, interne Richtlinien, Vorgaben zur akzeptablen Nutzung), und wie werden diese Richtlinien im Laufe der Zeit gepflegt?
• Wie wirksam trägt das System dazu bei, Antworten zu verhindern, die rechtliche Risiken oder Compliance-Risiken mit sich bringen könnten (z. B. Ratschläge oder Empfehlungen, die gegen geltende Vorschriften oder Standards verstoßen)?

Richtlinienversagen ist häufig nicht auf mangelnde Absicht zurückzuführen, sondern auf eine zunehmende Diskrepanz zwischen der technischen Durchsetzung und der betrieblichen Realität. So kann ein KI-System den Zugriff auf bestimmte Datenkategorien zwar korrekt sperren, dabei jedoch legitime Geschäftsabläufe behindern, sodass Nutzer die Kontrollen mithilfe nicht genehmigter Tools vollständig umgehen. Umgekehrt können zu vage definierte Richtlinien dazu führen, dass sensible Informationen in Kontexten offengelegt werden, die gegen regulatorische oder vertragliche Verpflichtungen verstoßen. Im Laufe der Zeit können punktuelle Anpassungen als Reaktion auf Beschwerden die Integrität der Richtlinien und die Verantwortlichkeit untergraben. Käufer sollten daher prüfen, ob KI-Sicherheitsplattformen eine strukturierte Richtlinien-Governance unterstützen, einschließlich dokumentierter Genehmigungen, eines Versionsverlaufs und der Möglichkeit, die Ergebnisse der Richtliniendurchsetzung zu überprüfen. Ohne diese Disziplin wird die Korrektheit von Richtlinien zu einer subjektiven Frage und lässt sich nach einem Sicherheitsvorfall nur schwer verteidigen.

Eine übermäßig strenge Durchsetzung kann zu Störungen führen und frustrierte Nutzer möglicherweise dazu verleiten, nicht autorisierte „Schatten-KI“-Systeme einzusetzen, während eine zu nachlässige Durchsetzung regulatorische Risiken und Reputationsrisiken nach sich ziehen kann. Beide Situationen sind auf Mängel in der Governance und nicht auf ein Versagen des Modells zurückzuführen.

Ein effektives Richtlinienmanagement sollte Richtlinien wie Code behandeln und Versionskontrolle, Genehmigungsworkflows sowie Audit-Trails vorsehen. Änderungen an Richtlinien sollten vor der Bereitstellung in der Produktionsumgebung dokumentierte Genehmigungen der Verantwortlichen aus den Bereichen Sicherheit, Recht und Business erfordern. Jede Durchsetzungsentscheidung sollte sich auf eine bestimmte Richtlinienklausel, Version, einen bestimmten Abschnitt und die entsprechende Autorisierungslogik zurückführen lassen. Soweit möglich, sollte die Optimierung von Richtlinien datengestützt anhand von System-Dashboards erfolgen, die Informationen wie Trends bei Fehlalarmen, Sperrungen mit erheblichen Auswirkungen und – soweit möglich – Empfehlungen zur Feinabstimmung bereitstellen.

Warnsignale sind unter anderem: undurchsichtige Entscheidungsprozesse, Ad-hoc-Anpassungen oder Behauptungen, Richtlinien seien ohne klare Verantwortlichkeit „selbstlernend“; fehlende Versionskontrolle und Genehmigungsworkflows für Richtlinienänderungen; Durchsetzungsentscheidungen, die sich nicht auf bestimmte Richtlinienklauseln zurückführen lassen; sowie Richtlinienkonflikte ohne dokumentierte Regeln zu deren Lösung.

Agentische KI, Sicherheit bei Werkzeugaufrufen und delegierte Befugnisse

Da KI-Systeme zunehmend über die passive Unterstützung hinausgehen und im Namen von Nutzern und anderen Systemen handeln, entsteht eine neue Risikokategorie: die delegierte Autorität. Agentische KI-Systeme können andere Tools aufrufen, Datensätze ändern und komplexe Arbeitsabläufe in Maschinengeschwindigkeit auslösen.

Käufer, die die Sicherheit agentischer KI bewerten, sollten mehrere zentrale Kontrollbereiche prüfen:

• Welche Aktionen kann das System autonom ausführen?
• Wie werden Berechtigungen eingeschränkt?
• Wie zuverlässig setzt das System durch, was ein Agent tun darf bzw. nicht tun darf, wenn ihm die Befugnis übertragen wird, im Namen eines Benutzers zu handeln?
• Kann der Grad der Autonomie je nach Risiko oder Kontext abgestuft werden, da sich kleine Fehler ohne klare Grenzen schnell systemübergreifend ausbreiten können?
• Wie wirksam verhindern Systemkontrollen, dass ein Prompt das System zu Handlungen außerhalb der vorgesehenen Grenzen veranlasst (selbst wenn der Benutzer „höflich darum bittet“), wenn es mit externen Tools und Agenten interagieren oder diese nutzen kann?
• Verhindert oder begrenzt das System wirksam rekursive Schleifen oder ein „außer Kontrolle geratenes“ Verhalten, bei dem ein Agent weiter agiert, ohne das Ziel zu erreichen?
• Wie wirksam verhindert das System die unbefugte Nutzung von Tools, die Ausweitung von API-Zugriffen bzw. Aktionen, übermäßige Autonomie oder Schleifen sowie unsichere Verkettungen verschiedener Tools?
• Wie wirksam verhindert das System in Multi-Agenten-Architekturen, dass sensible Daten, die von einem Agenten abgerufen oder generiert wurden, unnötigerweise an nachgelagerte Agenten oder Tools weitergegeben werden, die damit verbundene Aufgaben ausführen?
• In Multi-Agenten-Architekturen ist es von entscheidender Bedeutung, dass Berechtigungen korrekt über Systemgrenzen hinweg weitergegeben werden. Wie wirksam bewahrt das System den Identitätskontext über Agentenketten hinweg und stellt sicher, dass nachgelagerte Agenten und Tools ausschließlich im Rahmen der Berechtigungen des ursprünglichen Benutzers und nicht mit erweiterten Systemprivilegien agieren?

Fehler bei der Übertragung von Befugnissen treten häufig auf, wenn KI-Systemen umfassender Zugriff auf Tools gewährt wird, um Automatisierung ohne angemessene Einschränkungen zu ermöglichen. Beispielsweise könnte ein KI-Agent, der mit der Bearbeitung von Supportanfragen betraut ist, Datenbanken abfragen, Datensätze aktualisieren und Nutzer benachrichtigen. Eine falsch interpretierte Anweisung oder ein unerwarteter Kontext könnte zu fehlerhaften Datenänderungen oder einer verfrühten Kommunikation mit Kunden führen. Da diese Aktionen mit Maschinengeschwindigkeit erfolgen, können sich Fehler ausbreiten, bevor eine menschliche Kontrolle eingreifen kann. In komplexen Arbeitsabläufen können sich einzelne risikoarme Aktionen zu folgenschweren Ergebnissen summieren. Käufer sollten prüfen, ob die KI-Sicherheitskontrollen das Prinzip der geringsten Rechte durchsetzen, eine Bestätigung für sensible Aktionen verlangen und Mechanismen bereitstellen, mit denen sich die Autonomie dynamisch einschränken oder entziehen lässt. Agentisches Verhalten als Governance-Thema zu behandeln, ist entscheidend, um eine unbemerkte Ausweitung von Befugnissen zu verhindern.

In gut konzipierten Systemen werden diese Risiken durch architektonische Kontrollen minimiert. Angemessen eingeschränkte Systeme setzen für jedes Tool das Prinzip der geringsten Rechte mit dokumentierten Berechtigungsgrenzen durch. Eine abgestufte Autonomie sollte bei Aktionen mit moderaten Auswirkungen eine Bestätigung und bei Aktionen mit weitreichenden Auswirkungen eine menschliche Genehmigung erfordern. Gleichzeitig stellt die Beibehaltung des Identitätskontexts sicher, dass Agenten die Berechtigungen der Benutzer übernehmen und nicht Berechtigungen auf Systemebene. Wenn Benutzer sensible Vorgänge anfordern, sollten Agenten nur autorisierte Informationen abrufen und unbefugten Zugriff verhindern. Schutzschalter müssen außer Kontrolle geratene Schleifen umgehend beenden. Zudem sollten alle Aktionen der Agenten einschließlich Begründungen, Autorisierungsprüfungen und Ergebnissen vollständig protokolliert werden.

Diese Kontrollmechanismen verdeutlichen einen wichtigen Unterschied zwischen architektonischen Beschränkungen, bei denen das System technisch verhindert, dass ein Agent bestimmte Tools aufruft oder Aktionen ausführt, und verhaltensbezogenen Beschränkungen, bei denen der Agent die Aktion zwar ausführen könnte, jedoch angewiesen wird, dies nicht zu tun. Sicherheitskritische Grenzen sollten nach Möglichkeit durch architektonische Kontrollmechanismen abgesichert werden und nicht allein auf Verhaltensanweisungen beruhen.

Zu den Warnsignalen gehören: Anzeichen für eine unzureichende Governance von KI-Agenten sind unter anderem der uneingeschränkte Zugriff auf Tools oder das alleinige Vertrauen auf die Modellausrichtung zur Verhinderung von Missbrauch, fehlende dokumentierte Berechtigungsgrenzen für die einzelnen Tools, die mangelnde Wahrung des Identitätskontexts, durch den sichergestellt wird, dass Agenten die Berechtigungen der Benutzer übernehmen, die Unfähigkeit, unsichere Aktionsabfolgen durch Kettenanalysen zu erkennen, sowie eine unvollständige Protokollierung der Agentenaktionen ohne Begründungen und Autorisierungsprüfungen.

Beobachtbarkeit, Auditierung und Forensik

Wenn in einem KI-System etwas schiefläuft, ist es wichtig, nachweisen zu können, wie und warum es dazu gekommen ist, und den Vorfall möglicherweise sogar reproduzieren zu können.

Käufer sollten sich erkundigen, ob sich KI-Interaktionen lückenlos rekonstruieren lassen – einschließlich Eingaben, Kontext, Richtlinien, Ausgaben, Aktionen, aufgerufener Tools und abgerufener Daten. Leistungsfähige Systeme sollten zudem eine kontinuierliche Überwachung und Alarmierung unterstützen, damit Sicherheitsteams ungewöhnliches Verhalten, unsichere Aktionsketten oder unerwartete Interaktionen zwischen Agenten erkennen können, bevor Vorfälle eskalieren. Ohne ausreichende Transparenz darüber, wie sich das System verhält, beruhen Maßnahmen zur Reaktion auf Vorfälle auf Mutmaßungen, und Governance-Bemühungen verlieren an Glaubwürdigkeit.

Wenn KI-bezogene Vorfälle auftreten, wird von Organisationen möglicherweise erwartet, dass sie Belege statt Erklärungen vorlegen. Ohne detaillierte Aufzeichnungen zu Eingaben, abgerufenem Kontext, angewandten Richtlinien, Ausgaben und Aktionen sind Incident-Response-Teams gezwungen, Ereignisse anhand von Annahmen statt Fakten zu rekonstruieren. Dies ist bei KI-Systemen besonders problematisch, da ihr Verhalten aufgrund von Nichtdeterminismus möglicherweise nicht reproduzierbar ist. Beispielsweise könnte eine Aufsichtsbehörde oder die interne Revision fragen, warum bestimmte Informationen offengelegt oder automatisierte Aktionen ausgeführt wurden. Ohne durchgängige Beobachtbarkeit können Organisationen jedoch weder die Absicht und Verhältnismäßigkeit noch die Wirksamkeit ihrer Kontrollen nachweisen. Käufer sollten daher prüfen, ob KI-Sicherheitsplattformen das erforderliche Maß an Transparenz bieten, um die Reaktion auf Vorfälle, die Compliance-Berichterstattung und die Aufarbeitung von Vorfällen zu unterstützen.

Eine umfassende Protokollierung sollte die lückenlose Rekonstruktion von Anfragen ermöglichen, einschließlich der ursprünglichen Eingabeaufforderung, des abgerufenen Kontexts samt Quellen, des Identitäts- und Autorisierungskontexts, der geprüften Richtlinien einschließlich ihrer Versionen, der Modellausgabe, der vorgenommenen Änderungen, der endgültigen Antwort an den Benutzer sowie nachgelagerter Aktionen. KI-Sicherheitsereignisse sollten sich mit minimaler Latenz in SIEM-Systeme integrieren lassen, damit sie mit Netzwerkverkehr und Authentifizierungsereignissen korreliert werden können. Kritische Verstöße müssen unverzüglich Warnmeldungen mit ausreichendem Kontext für eine sofortige Reaktion auslösen. Dazu gehören auch zentrale Dashboards zur Überwachung von Sicherheits-, Leistungs- und Qualitätskennzahlen einschließlich Trendanalysen.

Aus GRC-Sicht können Systeme, die sich nicht überwachen lassen, auch nicht gesteuert werden.

Integration und Interoperabilität

Isoliert arbeitende KI-Sicherheitskontrollen führen zu Transparenzlücken und verhindern eine koordinierte Reaktion. Mehrschichtige Sicherheitsarchitekturen erfordern Kontrollen, die Telemetriedaten austauschen und die Durchsetzung über verschiedene Sicherheitsebenen hinweg koordinieren.

Identitäts- und Zugriffsmanagement: Autorisierungsgrenzen müssen sich von der Benutzerauthentifizierung über den Datenabruf bis hin zur endgültigen Ausgabe erstrecken. Unternehmen sollten prüfen, wie Systeme in Identitätsanbieter integriert werden und ob Rollenänderungen ordnungsgemäß übernommen werden. Systeme sollten den Autorisierungskontext beibehalten, wenn KI-Agenten im Namen von Benutzern handeln, und dabei nachvollziehbare Berechtigungsketten gewährleisten. Zugriffsrichtlinien sollten ohne doppelte Konfiguration aus bestehenden RBAC-Modellen übernommen werden. Auf der Abrufebene sollten Systeme das Prinzip der geringsten Rechte durchsetzen, indem Dokumente entsprechend der Autorisierungsstufe des anfragenden Benutzers gefiltert werden.

SIEM-Integration: KI-Sicherheitsereignisse müssen mit umfassenderen Sicherheitstelemetriedaten korreliert werden. Dazu sollten Systeme Ereignisse mit minimaler Latenz in Standardformaten wie OCSF oder CEF an SIEM-Plattformen exportieren. Proprietäre Protokollformate verhindern die Korrelation mit Netzwerkverkehr, Authentifizierungsereignissen und Datenzugriffsmustern. Unternehmen sollten prüfen, ob sich benutzerdefinierte Erkennungsregeln für KI-Sicherheitsereignisse erstellen lassen und ob Warnmeldungen in bestehende Workflows zur Reaktion auf Sicherheitsvorfälle integriert werden können.

Ausrichtung an Compliance-Frameworks: Lösungen sollten Kontrollen etablierten Frameworks zuordnen und dabei die konkrete Abdeckung der Kontrollen sowie Auditnachweise ausweisen. Zudem sollten sich Compliance-Berichte an spezifische regulatorische Anforderungen anpassen lassen. Allgemeine Compliance-Aussagen ohne konkrete Zuordnung zu Kontrollen sind unzureichend.

API- und Automatisierungsunterstützung: Moderne Sicherheitsabläufe erfordern eine programmatische Steuerung. Dabei müssen die Systeme Policy-as-Code-Workflows und die Integration von Infrastructure-as-Code unterstützen. Undokumentierte oder häufig geänderte APIs machen Integrationen störanfällig.

Was Käufer vor dem Kauf verlangen sollten

Unternehmen sollten belastbare Nachweise statt Architekturdiagrammen und Hochglanz-Marketingmaterialien, Reproduzierbarkeit statt ausgefeilter Vorführungen und unabhängige Validierung statt bloßer Eigenbehauptungen verlangen.

Käufer sollten von Anbietern erwarten, dass sie Einschränkungen erläutern, realistische Tests unterstützen und Nachweise bereitstellen, die einer kritischen Prüfung standhalten.

Sicherheitskontrollen, die sich weder testen noch nachvollziehbar erklären lassen, sollte man nicht den Schutz geschäftskritischer KI-Systeme anvertrauen.

Vorbereitung auf die unabhängige Validierung

Die Bewertung der KI-Sicherheit ist schwierig, doch diese Schwierigkeit rechtfertigt nicht, auf eine Validierung zu verzichten. Unabhängige Tests sind nach wie vor eine der wenigen Möglichkeiten für Unternehmen, sich davon zu überzeugen, dass Kontrollen und Funktionen wie angegeben funktionieren.

Käufer sollten Validierungsansätze erwarten, die reale Bedingungen abbilden, darunter adversariale Eingaben, Szenarien mit Leistungseinbußen und Governance-Anforderungen. Anbieter, die nicht bereit sind, sich an einer aussagekräftigen Validierung zu beteiligen, zeigen damit mangelnde Reife, nicht Stärke.

Auch sollte die Validierung nicht als einmalige Maßnahme betrachtet werden. KI-Sicherheitskontrollen, die bei der Erstbewertung gut abschneiden, können mit der Weiterentwicklung von Bedrohungen und Modellfähigkeiten sowie dem Aufkommen neuer Angriffstechniken an Wirksamkeit verlieren. Die Bedrohungslandschaft verändert sich rasant, und bei KI-Sicherheitsvorfällen können bislang unbekannte Angriffsmethoden zum Einsatz kommen. Unternehmen müssen daher neben den Ersttests auch Anforderungen an eine kontinuierliche Validierung festlegen.

Integration von Bedrohungsinformationen: Unternehmen sollten prüfen, wie häufig Anbieter Aktualisierungen vornehmen, um neu bekannt gewordene Schwachstellen aus den Meldungen von Threat-Intelligence-Anbietern und Sicherheitsforschungsorganisationen zu berücksichtigen. Anbieter sollten nachweisen, dass sie kürzlich veröffentlichte Angriffe erkennen können und sich nicht nur auf historische Trainingsdaten stützen. Die automatisierte Einbindung von Bedrohungsinformationen ermöglicht eine schnellere Reaktion als manuelle Prüfverfahren.

Kompatibilität mit der Modellentwicklung: Die Fähigkeiten von Basismodellen entwickeln sich rasant weiter, sodass Sicherheitskontrollen entsprechend angepasst werden müssen. Unternehmen sollten modellspezifische Daten zur Erkennungsleistung für verschiedene Basismodelle anfordern und sich vor pauschalen Aussagen ohne quantitative Belege hüten, da diese Schwachstellen verschleiern können. Anbieter sollten klare Zeitpläne für die Zertifizierung neuer Modellversionen sowie vorläufige Schutzmaßnahmen für Zeiträume ohne Zertifizierung bereitstellen.

Käufergesteuerte Validierung: Unternehmen sollten Kontrollen kontinuierlich testen, anstatt sich ausschließlich auf die Validierung durch den Anbieter zu verlassen. Käufer sollten vertragliche Rechte auf regelmäßige Red-Team-Übungen, kontinuierliche automatisierte Tests zur Umgehung von Kontrollen und A/B-Tests von Richtlinienänderungen in der Produktionsumgebung aushandeln. Anbieter, die Kundentests einschränken oder detaillierte Telemetriedaten zurückhalten, lassen mangelnde Reife erkennen.

Unternehmen sollten die Validierung als kontinuierliche Zusammenarbeit und nicht als einmalige Bewertung betrachten, damit die Wirksamkeit auch bei einer sich wandelnden Bedrohungslandschaft erhalten bleibt. Ohne dieses Vorgehen können sich selbst gut konzipierte Kontrollen gegenüber neuen Angriffstechniken letztlich als unzureichend erweisen.

Fazit: Von Behauptungen zur Rechenschaftspflicht

Die Beschaffung von KI-Sicherheitslösungen ist nicht nur eine technische, sondern auch eine Governance-Entscheidung mit langfristigen Folgen.

Unternehmen, die von Anfang an die schwierigen Fragen stellen, sind besser in der Lage, Risiken zu steuern, Entscheidungen zu rechtfertigen und vermeidbare Fehler zu verhindern.

KI-Sicherheit wird nicht durch Neuartigkeit oder Abstraktion gelingen, sondern durch Verantwortlichkeit, Transparenz und eine systematische Bewertung.

© 2026 NSS Labs®. Alle Rechte vorbehalten. Kein Teil dieser Veröffentlichung darf ohne die ausdrückliche schriftliche Zustimmung von NSS Labs („uns“ oder „wir“) vervielfältigt, kopiert oder eingescannt, in einem Datenabrufsystem gespeichert, per E-Mail versendet oder anderweitig verbreitet oder übertragen werden.