Die neue KI-Risikolandschaft: unsichtbar, autonom und bereits im Unternehmen

James WhiteCTO, KI-Sicherheit | F5

Zur Jahresmitte 2025 ist es an der Zeit, eine Momentaufnahme der KI-Einführung in Unternehmen und des Stands der KI-Sicherheit zu erstellen.

Der Einsatz generativer KI in Unternehmen ist mittlerweile Standard

Unternehmen verfügen inzwischen durchweg zumindest über ein grundlegendes Verständnis von generativer KI. Sie wissen, was sie ist und wo sie eingesetzt werden kann. Wer in seinem Beruf keinen Zugang zu generativer KI hat, hinkt derzeit der Entwicklung hinterher.

Die Entwicklung von Anwendungen auf Basis generativer KI wird in Unternehmen schnell zum Standard. Wir erleben aus erster Hand, wie unsere Kunden KI-Anwendungen sowohl für interne als auch für externe Zwecke in den Produktivbetrieb überführen.

Bei der Einführung von Agenten gibt es zwei Wege: die Nutzung über Drittanbieter und die Entwicklung eigener Agenten. Die Nutzung von Agenten über Drittanbieter ist bereits recht weit fortgeschritten, doch Unternehmen sind sich dessen nicht immer bewusst. Organisationen, die zunächst eine GenAI-Modellschnittstelle in einem Browser genutzt haben, wissen möglicherweise nicht, dass sie damit auch agentenbasierte KI einsetzen.

Als Google Gemini beispielsweise auf den Markt kam, waren noch keine agentischen Elemente integriert. Inzwischen ist Deep Research ein Agent innerhalb von Gemini. Wenn Deep Research eine Eingabeaufforderung erhält, ermittelt es selbstständig, welche Aufgaben und Websuchen durchzuführen sind, trägt die Informationen zusammen und erstellt Berichte. Auch Microsoft 365 Copilot verfügt über Agenten.

Die Entwicklung proprietärer Agenten befindet sich größtenteils noch in der Prototypen- und Erprobungsphase, doch Agenten entwickeln sich deutlich schneller als generative KI. 2024 lauteten die Fragen noch: Wird das wirklich passieren? Unterscheiden sich die Risiken tatsächlich? Inzwischen stellen sich diese Fragen nicht mehr. Unternehmen haben keine Zweifel.

Deshalb ist es so wichtig, Agenten und agentische Resistenz zu verstehen.

MCP ist kein Synonym für Sicherheit

Viele Unternehmen betrachten das Model Context Protocol (MCP) inzwischen als den Weg zur Einführung agentischer KI. Organisationen ersetzen das Wort „Agent“ beinahe durch MCP und sprechen davon, „ein MCP zu entwickeln“.

Das ist so nicht ganz richtig. MCP stellt im Grunde eine Auswahl an Optionen dar, die ein Agent nutzen kann, um Aufgaben auszuführen. Man kann es sich so vorstellen, dass der MCP-Server sagt: „Das steht zur Auswahl“, und der MCP-Client entscheidet: „Diese Option werde ich auf diese Weise nutzen.“ Anschließend ermittelt er mithilfe eines KI-Modells, was zu tun ist und wie.

In dieser Struktur geht das Risiko weiterhin vom Modell aus. Weitere Risiken liegen in der Serversoftware. Diese Risiken werden durch MCP nicht automatisch beseitigt. Das Protokoll ist sehr gut, aber keineswegs standardmäßig sicher, wie jüngste Sicherheitsvorfälle gezeigt haben. So hat beispielsweise Asana kürzlich einen Fehler entdeckt und offengelegt, durch den Daten von Asana-MCP-Nutzern möglicherweise für Nutzer anderer Konten zugänglich waren.

Wenn Unternehmen davon ausgehen, dass MCP Risiken minimiert, erhöhen sie möglicherweise sogar ihr tatsächliches Risiko. Viele unserer Kunden und Interessenten fragen inzwischen: „Erklären Sie uns, wie Sie MCP absichern.“ Sie müssen einen ganzheitlichen Ansatz verfolgen, der den Anwendungsfall, das Modell, die Bereitstellungsmuster sowie die Interaktionen mit Tools über MCP und andere Standards berücksichtigt und Belastungstests unterzieht.

Bei agentischer KI ist das „Wie“ entscheidend

Das liegt daran, dass es viele Möglichkeiten gibt, ein bestimmtes Was zu erreichen, viele davon jedoch unangemessen oder falsch sind. Stellen Sie sich vor, ein Agent hat die Aufgabe, eine Datenbank auf dem neuesten Stand zu halten, und verfügt über den Zugriff und die Berechtigungen, Daten zu löschen oder einzufügen. Er könnte beispielsweise Einträge zu F5 löschen, indem er die exakten Übereinstimmungen mit dem Unternehmensnamen zuverlässig findet und entfernt.

Der Agent könnte sich jedoch ebenso gut dazu entschließen, die Anweisung zu erteilen, Datensätze mit „F*“ zu löschen, wodurch die Datensätze aller Unternehmen gelöscht würden, deren Name mit F beginnt. Diese grobe Vorgehensweise würde zwar dasselbe Ziel erreichen, aber eine Kaskade unbeabsichtigter Folgen auslösen, die sich möglicherweise nicht ohne Weiteres beheben lassen. Im Zeitalter der Agenten, in dem Aktionen von nicht deterministischen Modellen gesteuert werden, ist unbeabsichtigtes Verhalten der Sicherheitsvorfall – insbesondere dann, wenn die Schutzmaßnahmen unzureichend sind. Das Verständnis des Agentenverhaltens ist für ihre erfolgreiche Einführung von entscheidender Bedeutung.

Der Enterprise-Sicherheitsstack stößt an seine Grenzen

Die Absicherung von KI erfordert eine völlig neue Arbeitsweise und nicht nur geringfügige Anpassungen bestehender Sicherheitslösungen. Die gesamte herkömmliche Software, die Unternehmen einsetzen, wird sich im Laufe der Zeit in andere Ausprägungen verwandeln. Wie sich diese schützen lassen, ist derzeit noch nicht vollständig geklärt.

Bei Unternehmen mit einem herkömmlichen Sicherheits-Stack zeigen sich bereits deutliche Überlastungserscheinungen. Das liegt daran, dass diese Systeme für eine Zeit vor der KI konzipiert und entwickelt wurden. Im KI-Zeitalter wächst die Menge der neu erzeugten Informationen explosionsartig – von Datenmüll bis hin zu hochwertigen, geschäftskritischen Daten.

Die Systeme, die in den vergangenen Jahrzehnten den von Menschen erzeugten Datenverkehr analysiert haben, müssen nun mit Datenverkehr zurechtkommen, der von Menschen mithilfe von KI erzeugt wird. Das allein bedeutet bereits eine enorme Vervielfachung. Stellen Sie sich nun vor, der Datenverkehr besteht aus Informationen, die von Agenten erzeugt werden. Dann wächst er exponentiell.

Der traditionelle Sicherheits-Stack ist für diese Realität nicht ausgelegt. Er wird sich grundlegend verändern müssen, um Schritt zu halten – und zwar eher früher als später.

Ein Blick in die Zukunft: atomare Agenten

Heutzutage benötigt ein Agent ein KI-Modell, das als sein Gehirn fungiert. Dieses Gehirn befindet sich in der Regel an einer zentralen Stelle. Das Agenten-Framework stellt dem Modell Fragen und erhält Antworten zurück. So läuft der Zyklus ab: ein ständiges Hin und Her zwischen dem Agenten und dem Modell.

Wenn ein Agent in diesem Szenario außer Kontrolle gerät, kann ein Unternehmen den Zugriff des Agenten auf das Modell mit einer einfachen Netzwerkregel sperren. Im schlimmsten Fall kann das Modell abgeschaltet werden.

In Zukunft werden Modelle so klein sein, dass sie keine GPUs mehr benötigen und weder in Serverräumen noch in der Cloud betrieben werden müssen. Das „Gehirn“ wird am selben Ort wie der Agent ausgeführt, sodass dieser überall effizient arbeiten und je nach Bedarf skaliert werden kann. Wenn es so weit ist, steigt das Sicherheitsrisiko explosionsartig.

Das zentrale Konzept hierbei sind atomare Agenten, und es gibt Anzeichen dafür, dass sie kommen werden. Microsofts BitNet b1.58 2B4T, ein 1-Bit-Modell, das auf einer CPU läuft, zeigt, was möglich ist. Es ist noch nicht klein genug, nicht schnell genug und wahrscheinlich auch nicht gut genug. Doch im KI-Zeitalter wird aus einem „noch nicht“ sehr schnell Realität.

Über den Autor

James WhiteCTO, KI-Sicherheit | F5

James White ist ein erfolgreicher Ingenieur und Unternehmensleiter mit fast zwei Jahrzehnten Erfahrung in der Unternehmenssoftwarebranche.

Weitere Blogbeiträge von James White