Der explosionsartige Anstieg der KI-Nutzung seit 2020 ist beispiellos. Was die Akzeptanz betrifft, verbreitet sich KI schneller als die Cloud, schneller als Mobiltechnologien und mit Sicherheit schneller als seinerzeit das Internet. Gartner prognostiziert, dass mehr als 80 % der Unternehmen in diesem Jahr KI einsetzen werden.
Wenn wir den Weg eines Unternehmens bei der Einführung von KI einordnen, lassen sich vier Reifegradkategorien erkennen, die häufig parallel statt nacheinander durchlaufen werden:
- Kategorie 1 umfasst universell einsetzbare KI und Produktivitätssteigerung – etwa durch die Nutzung von ChatGPT, Gemini, Copilot usw. durch Mitarbeitende.
- Kategorie 2 umfasst interne Anwendungsfälle in Unternehmen, bei denen individuelle Chatbots für Bereiche wie Personalwesen oder IT entwickelt werden.
- Kategorie 3 umfasst externe Anwendungsfälle wie die Entwicklung öffentlich zugänglicher Anwendungen mit generativer KI, darunter auch Chatbots für den Kundenservice.
- Kategorie 4 umfasst agentenbasierte Workflows, die aus komplexen Systemen bestehen, welche selbstständig im Namen der Benutzer handeln.
In diesen letzten drei Kategorien wird Sicherheit zu einem entscheidenden Faktor. Denn Unternehmen entwickeln komplexe Software auf der Grundlage von nichtdeterministischen KI-Modellen und schaffen dadurch Schwachstellen, die herkömmliche Firewalls schlichtweg nicht erkennen können.
“Es ist klar, dass Unternehmen, die KI einsetzen, schnelle automatisierte Tests auf bekannte Schwachstellen benötigen, allein um eine Ausgangsbasis zu schaffen.”
Sicherheit hat für Unternehmen stets Priorität. Doch bei KI stellt sich die Herausforderung anders dar – sie ist ein blinder Fleck. Sicherheitsverantwortliche haben in den vergangenen 20 Jahren Web Application Firewalls (WAFs) implementiert und konfiguriert, um ihre Webanwendungen, Websites und sogar APIs zu schützen. Doch so nützlich WAFs auch sind, stoßen sie bei KI an ihre Grenzen. Die in KI eingesetzte Verarbeitung natürlicher Sprache kann die herkömmliche WAF-Erkennung vor Probleme stellen. Einfach ausgedrückt: Eine Unterhaltung lässt sich nicht durch eine Firewall schützen. Unternehmen benötigen einen neuen Ansatz, um ihre Apps und APIs überall zu schützen und ihre KI umfassend abzusichern.
Deshalb melden 75 % der CISOs KI-Sicherheitsvorfälle; ihre bestehenden Schutzmechanismen sind schlichtweg nicht darauf ausgelegt, diese Bedrohungen zu erkennen. Das erklärt auch, warum 91 % bereits Angriffsversuche auf ihre KI-Infrastruktur festgestellt haben und beeindruckende 94 % nun der Prüfung ihrer KI-Systeme Priorität einräumen.
Neue Kategorien kognitiver Angriffe
Im Zeitalter der KI haben es Unternehmen nicht mehr nur mit Schwachstellen im Code zu tun. Sie sehen sich mit völlig neuen Kategorien kognitiver Angriffe konfrontiert, darunter:
- Prompt-Injection, sowohl direkt als auch indirekt
- Datenvergiftung während der Trainingsphase
- Ausgefeilte Jailbreak-Techniken wie Angriffe mit symbolischer Sprache
- Token-Komprimierung, bei der Angreifer schädliche Anweisungen in Formaten verbergen, die das KI-Modell bzw. die KI-Modelle lesen können, Menschen jedoch nicht
Herkömmliche Sicherheitsmechanismen sind für deterministische Eingaben ausgelegt, doch Prompt-Injection und andere Angriffe mittels natürlicher Sprache sind semantische Probleme und lassen sich nicht durch Musterabgleich lösen. Dabei handelt es sich nicht um vereinzelte Fehler, sondern um systemische Geschäftsrisiken, die durch KI-gestützte Architekturen entstehen.
Es gibt zahlreiche Beispiele aus der Praxis dafür, wie KI das Bedrohungsmodell verändert. Eine Sicherheitsverletzung bei einem internationalen Softwareanbieter im vergangenen Sommer ging auf einen Logikfehler bei der Mandantentrennung im MCP-Server zurück, der die Offenlegung von Daten über Organisationsgrenzen hinweg ermöglichte. Das ist ein klassischer Multi-Tenant-Fehler, der in LLM-Systemen jedoch gefährlicher ist, da offengelegte Daten als flüssige Sprache erscheinen und dadurch wesentlich schwerer zu erkennen sind.
Unterdessen offenbarte ein Vorfall bei einem weltweit tätigen Technologieunternehmen eine andere Schwachstelle: durchbrochene Vertrauensgrenzen. Durch Prompt-Injection wurde die Rolle eines Chatbots neu definiert, und die Backend-Systeme vertrauten seinen Tool-Anfragen, ohne eine serverseitige Autorisierung durchzusetzen. Das Problem bestand nicht darin, dass das Modell Regeln missachtete, sondern darin, dass die Autorisierung unzulässigerweise an das Modell delegiert wurde.
Dies sind nur zwei Beispiele, die Teil einer weitaus umfassenderen, neu entstehenden Risikolandschaft sind. Die Branche arbeitet mit Hochdruck daran, diese KI-Schwachstellen zu kategorisieren. Es entstehen Frameworks wie die OWASP Top 10 für Anwendungen mit großen Sprachmodellen (LLM), die OWASP Top 10 für agentenbasierte Anwendungen , Mitre Atlas und das NIST-Framework für KI-Risikomanagement, doch es gibt weder eine maßgebliche Datenbank noch einen einheitlichen Standard dafür, was Sicherheit in der Praxis tatsächlich bedeutet.
Der alte Ansatz kann nicht mithalten
Der Druck auf die Industrie, KI jetzt einzusetzen, ist existenziell. Entwickler nutzen KI, um Code zehnmal schneller zu schreiben als je zuvor; Unternehmen bringen buchstäblich über Nacht neue Funktionen – und sogar ganze Produkte – auf den Markt.
Gleichzeitig beschleunigt die Regulierung die Entwicklung auf der Compliance-Seite. Das EU-Gesetz über künstliche Intelligenz beispielsweise schreibt ausdrücklich adversarielle Tests für Hochrisiko-KI-Systeme und KI-Modelle mit allgemeinem Verwendungszweck vor. In der Praxis bedeutet dies, dass speziell konzipiertes Red-Teaming—also das Testen von KI-Systemen mit simulierten adversariellen Angriffen—nun als zentraler Bestandteil des KI-Sicherheits-Stacks betrachtet werden muss, und zwar so, dass es den realen Herausforderungen Rechnung trägt, mit denen diese Systeme konfrontiert sind.
Wenn CISOs und Sicherheitsteams versuchen, Veränderungen abzusichern, die mit Maschinengeschwindigkeit stattfinden, kann sich das anfühlen, als wollten sie einen Tsunami mit einem Eimer aufhalten. Die Rechnung geht nicht auf. Das Tempo ist nicht zu bewältigen. Die KI-Angriffsfläche unterscheidet sich grundlegend, und die bisherigen Ansätze können nicht mithalten.
Es ist klar, dass herkömmliches Red-Teaming nicht effektiv ist und KI-Red-Teaming erforderlich ist, um das Spannungsfeld zwischen Geschwindigkeit und Kontrolle aufzulösen. Aus Gesprächen mit Kunden und unserer Unterstützung bei der Absicherung ihrer KI-Systeme haben sich vier zentrale Bereiche ergeben, die wir berücksichtigen müssen:
Erstens die Bedrohungsentwicklung: KI-Angriffe entwickeln sich schneller als statische Testsuiten. Sobald Prüfungen automatisiert werden, ändern sich das KI-Modell oder der Angriff, und Sicherheitsteams sind letztlich damit beschäftigt, Tests zu pflegen, anstatt Risiken zu reduzieren.
Zweitens: Komplexität von Agenten: Da KI-Agenten keine deterministischen Systeme sind, ergeben sich nahezu unendlich viele Varianten, sobald Abrufmechanismen, Tools und Speicher hinzukommen. Sie testen dann nicht mehr Code, sondern eine Konversation, die sich je nach Kontext verändert.
Drittens: Automatisierung und Skalierbarkeit. Manuelles Red-Teaming lässt sich für diese Systeme nicht skalieren. Ein einzelner Chatbot mag noch zu bewältigen sein, Hunderte oder Tausende jedoch nicht. Man kann sich nicht darauf verlassen, dass Menschen bei jeder Aktualisierung des Modells oder des System-Prompts Tausende adversariale Unterhaltungen erneut durchspielen.
Und schließlich: umsetzbare Berichte. Die Ergebnisse müssen reproduzierbar sein und konkrete Maßnahmen ermöglichen. „Der Bot hat sich schlecht verhalten“ ist keine verwertbare Aussage. Entwickler benötigen die Gesprächsparameter und Auslösebedingungen; andernfalls geraten Fehlerbehebung und Abhilfemaßnahmen ins Stocken.
Sicherstellen, dass sich KI auch bei Angriffen wie vorgesehen verhält
Lassen Sie uns dies anhand einiger Beispiele aus der Praxis überprüfen. Einer unserer Kunden ist eine weltweit tätige Bank, die in einem stark regulierten Umfeld agiert. Als wir die Zusammenarbeit mit diesem Kunden aufnahmen, gab es dort mehr als 50 KI-Anwendungsfälle in den Bereichen Personalwesen, Beschaffung und Cybersicherheit. Keiner davon konnte jedoch produktiv eingesetzt werden, da die Bank gegenüber ihren internen Prüfern nicht nachweisen konnte, dass die Anwendungen sicher waren.
KI-Red-Teaming mit F5 AI Red Team lieferte der Bank die nötigen Erkenntnisse, um zu verstehen, wie sich ihre KI-Systeme tatsächlich verhielten – wo Daten offengelegt, Prompts missbraucht und Kontrollen in ihrer Umgebung umgangen werden konnten.
Dieser Kunde nutzt die Erkenntnisse aus dem AI Red Team, um seine Abwehrmaßnahmen mithilfe individueller Sicherheitskontrollen und F5 AI Guardrails zu verbessern. Diese Kombination ermöglicht es der Bank, KI im gesamten Unternehmen zu skalieren und dabei auf ihre Sicherheitslage und ihr Governance-Programm zu vertrauen.
Im öffentlichen Sektor wird aus freiwilligen Tests eine zwingende Notwendigkeit. Unter der Anleitung von Behörden wie NIST und CISA ergreifen öffentliche Einrichtungen Maßnahmen wie adversariale Stresstests, um geschäftskritische Risiken zu identifizieren, etwa den Einsatz biologischer Daten als Waffe. Hier geht es beim KI-Red-Teaming nicht nur darum, Risiken zu reduzieren, sondern auch darum, die Kontinuität der Aufgabenerfüllung und die Betriebsberechtigung aufrechtzuerhalten.
Unabhängig davon, ob Sie Kundendaten oder öffentliche Dienste schützen, gilt dieselbe Anforderung: Es muss kontinuierlich und anhand von Nachweisen sichergestellt werden, dass sich KI-Systeme wie vorgesehen verhalten – selbst wenn jemand versucht, sie zu kompromittieren.
Compliance-Lücken schließen
Es ist klar, dass Unternehmen, die KI einsetzen, schnelle automatisierte Tests auf bekannte Schwachstellen benötigen, um überhaupt eine Ausgangsbasis zu schaffen. Der Kontext ist die neue Angriffsfläche; statische Schutzmaßnahmen versagen bei agentenbasierten Angriffen, daher müssen Unternehmen Workloads testen, nicht nur Modelle.
Dies sind die Lücken in der Praxis, die Sicherheitsteams derzeit zu schließen versuchen, und die Gründe, warum KI-Red-Teaming zunehmend in den Vordergrund rückt. In diesem Umfeld ist Compliance ein Wettbewerbsvorteil. Mit dem richtigen Berichtswesen ist Sicherheit kein Hindernis mehr, sondern wird zum Wegbereiter, der die KI eines Unternehmens schneller zur Marktreife bringt.
In einer solchen Welt können die zahlreichen Unternehmen, die in diesem Jahr KI einsetzen wollen, dies mit Zuversicht statt mit Angst tun – unabhängig davon, an welchem Punkt ihrer Entwicklung sie stehen.
Erfahren Sie hier mehr darüber, wie Sie Ihre KI-Systeme testen können.
Sehen Sie, wie F5-Experten zeigen, wie AI Red Team kontinuierliche Angriffstests beschleunigt – hier.
Über die Autoren
Ähnliche Blogbeiträge
Vier Gründe, warum Sie den F5 Post-Mythos Security Summit nicht verpassen sollten
Holen Sie sich Expertenrat, um Ihre Apps, APIs und Modelle in der Post-Mythos-Welt zu schützen.
Von einer App zu einer ganzen Agentenflotte: Ein 90-Tage-Framework für KI-Sicherheit
Vermeiden Sie den kostspieligen Ansatz „Jetzt bereitstellen, später absichern“ – mit einem umfassenden Framework zum Schutz von KI-Modellen, Anwendungen und autonomen Agenten.
Fünf Stufen antifragiler Cyberresilienz verwandeln Praxis in Ergebnisse
Erfahren Sie, wie fünf Stufen antifragiler Resilienz Störungen in adaptive Verhaltensweisen überführen, die Ausfälle begrenzen und hybride Multicloud-Architekturen stärken.
Warum Ihre KI-Richtlinien, Governance und Leitplanken nicht warten können
KI-Richtlinien und -Governance dürfen nicht länger als reine Formalitäten oder Zukunftsthemen betrachtet werden. Sie müssen durch praktische, durchsetzbare Leitplanken ergänzt werden.
Wenn „privat“ nicht privat ist: Wie ChatGPT-Unterhaltungen öffentlich wurden
KI verändert die Arbeitsabläufe in Unternehmen, doch eine übersehene Einstellung hat bereits Tausende vertraulicher Unterhaltungen öffentlich zugänglich gemacht
KI-Nutzung verstehen: Warum Unternehmen Transparenz brauchen
Anstatt einen zu laxen oder zu strengen Ansatz zu verfolgen, können Unternehmen durch mehr Transparenz bei der KI-Nutzung fundierte und durchsetzbare Entscheidungen treffen.