Ein anwendungsbewusstes Triumvirat für die Governance agentischer KI

James HendergartSenior Director, Technische Forschung | F5

Innovation ist das eine. Governance ist das andere. Eine besorgniserregende Kombination aus Statistiken verschiedener Forschungsumfragen bestätigt, dass Unternehmen die Einführung generativer KI mit Hochdruck vorantreiben – trotz Governance-Lücken, die Anlass zum Innehalten geben sollten.

Laut der KI-Agenten-Umfrage von PwC vom Mai 2025 haben 79 % der Unternehmen KI eingeführt, und nur 2 % ziehen agentische KI überhaupt nicht in Betracht. Unabhängig davon, ob diese Agenten tatsächlich agentische Merkmale aufweisen – etwa die Fähigkeit, Arbeitspläne zu erstellen und mehrstufige Aktionen auszuführen, Ergebnisse zu bewerten und sich selbst anzupassen – oder ob es sich um Chatbots handelt, die einmalige Anfragen an ein ausgewähltes großes Sprachmodell (LLM) weiterleiten, ist die Akzeptanz sehr hoch, und fast alle diese Unternehmen planen, ihre Ausgaben für KI im kommenden Jahr zu erhöhen.

Im Vergleich dazu zeigt unsere eigene Studie – die anhand eines KI-Bereitschaftsindex die operativen Fähigkeiten zur erfolgreichen Skalierung, Absicherung und nachhaltigen Aufrechterhaltung von KI-Systemen bewertet –, dass nur 2 % der Unternehmen in hohem Maße darauf vorbereitet sind, die mit der Konzeption, Bereitstellung und dem Betrieb KI-gestützter Systeme verbundenen Herausforderungen zu bewältigen.

Dennoch bleibt IT- und Sicherheitsteams angesichts der Ergebnisse der EY-Studie keine andere Wahl. Demnach ist die Mehrheit der Führungskräfte überzeugt, noch in diesem Jahr agentenbasierte KI einführen zu müssen, um ihren Wettbewerbern bis zum gleichen Zeitpunkt im nächsten Jahr voraus zu sein. Unternehmen, die sich genügend Zeit nehmen, um Sicherheits- und Governance-Lücken sorgfältig zu schließen, werden 2026 weiter vorangekommen und weniger anfällig sein als jene, die diese Lücken ignorieren. Die folgenden drei Maßnahmen bilden ein wirkungsvolles Dreigespann, das die Risiken beim Einstieg in generative und agentenbasierte KI reduziert:

1. Sichern Sie Ihre Modelle ab

Neues muss abgesichert werden, und jede Form generativer KI basiert im Kern auf einem oder mehreren LLMs. Es reicht nicht aus, darauf zu vertrauen, dass die Modellentwickler die Genauigkeit kontinuierlich verbessern, Halluzinationen reduzieren und Jailbreaking verhindern. Unternehmen müssen in Prompt- und Modelldienste investieren, die unerwünschte Verhaltensweisen unabhängig erkennen und unterbinden können. Da jedes Unternehmen, das ein LLM einsetzt, tatsächlich mehrere nutzt, müssen Anwendungen zudem von den Inferenz-API-Aufrufen entkoppelt werden, um ihre Anforderungen an Verfügbarkeit, Routing, Skalierung und Kostenkontrolle zu erfüllen.

2. Schützen Sie Ihre Daten

Bei den Unternehmensdaten, auf die Modelle zugreifen, kann es sich um neue oder bereits im Unternehmen vorhandene Daten handeln. Fest steht jedoch, dass sie geschützt werden müssen. Dabei reicht es nicht aus, ruhende Daten zu sichern oder sie bei der Übertragung über das Netzwerk zu verschlüsseln. Daten, die in irgendeiner Art oder Form in der privaten Unternehmensumgebung vorhanden sind, müssen ebenfalls erkannt und geschützt werden – selbst wenn sie mit einem genehmigten Drittanbieterdienst oder von einem externen Unternehmen genutzt werden sollen. Um Missverständnisse zu vermeiden: Nicht die Herkunft der Daten steht im Mittelpunkt, sondern ihr Abfluss.

3. Sichern Sie Ihre Agenten ab

Agenten verändern die Spielregeln, da sie mithilfe von LLMs entscheiden, welche Aktionen sie ausführen müssen, um ein von ihnen selbst festgelegtes Endziel zu erreichen. Damit sie arbeiten können, benötigen sie die Berechtigung, Aktionen auszuführen, auf Ressourcen zuzugreifen sowie Informationen zu erstellen, zu ändern und zu löschen. Sie müssen von einer Instanz überwacht und kontrolliert werden, die sich außerhalb des Agenten befindet, ihm aber nahe genug ist, um ihn effektiv beobachten und bewerten zu können. Zwei zentrale Ansätze haben sich herausgebildet, deren weitere Entwicklung in den kommenden Monaten aufmerksam verfolgt werden sollte: Guardrail-Frameworks (wie etwa MCP-Universe) und LLM-as-a-Judge-Frameworks (wie etwa Microsoft LLM-as-a-Judge Framework).

Ersterer Ansatz definiert die Ground Truth mithilfe sehr spezifischer, aufgabenbasierter Operationen, um die Ergebnisse agenteninitiierter Aktionen mit separaten Aktionen zu vergleichen, die von explizit angewiesener Software vorab ausgeführt wurden. Seine Stärke liegt in der stetig wachsenden Sammlung von Beispielcode, mit dem sich verschiedene Fakten wie Wetterdaten oder historische Fakten anhand vorab ausgewählter, bekanntermaßen zuverlässiger Quellen überprüfen lassen. Er erfasst die Informationen und vergleicht diese Ergebnisse anschließend als Ground Truth mit den Ergebnissen eines eingesetzten Agenten.

Letzteres nutzt ein anderes LLM oder sogar mehrere LLMs, um das Verhalten eines bereitgestellten Agenten zu analysieren und die Qualität und Angemessenheit seiner Ergebnisse anhand der vom Unternehmen festgelegten Kriterien zu bewerten. Beide Ansätze sind vielversprechend, entwickeln sich rasch weiter und unterliegen der Kontrolle des Unternehmens. Noch besser: Beide können bei Bedarf durch Human-in-the-Loop-Kontrollen ergänzt werden.

Dieses Dreigespann aus Kontrollmechanismen für Modelle, Daten und Agenten schließt Lücken in der Cybersicherheit und Governance, durch die ein Unternehmen andernfalls den neuartigen Risiken im Zusammenhang mit generativer KI und agentischen Systemen ausgesetzt wäre.

Weitere Informationen über den Einsatz dieser Kontrollmechanismen als unabhängige Infrastrukturdienste finden Sie in der aktuellen Ankündigung von F5 zu CalypsoAI, dem Pionier für Sicherheits-, Red-Teaming- und Governance-Lösungen für KI-Anwendungen und -Agenten.

Über den Autor

James HendergartSenior Director, Technische Forschung | F5

Weitere Blogbeiträge von James Hendergart