Das agentische Zeitalter absichern: Vom Hype zum Hochrisikoszenario

James WhiteCTO, KI-Sicherheit | F5

Während der Hype um KI-Agenten zunehmend Realität wird, entwickeln Organisationen weltweit Anwendungsfälle für den Einsatz solcher Agenten in ihren Unternehmen. Indem sie Basismodelle mit Tools und Datenquellen verbinden und ihnen Aufgaben übertragen, die sie autonom erledigen sollen, erhoffen sich Unternehmen Kostensenkungen und effizientere Abläufe.

Zunächst versuchen CISOs, die agentischen Entsprechungen von Mäh- und Saugrobotern zu identifizieren, die bei relativ geringem Risiko einen klaren Nutzen bieten. Der Kundenservice ist ein naheliegender früher Anwendungsfall und dient als Testfeld für KI-gestützte Lösungen von Unternehmen wie Intercom, Zendesk und ServiceNow sowie für unternehmenseigene Systeme.

Gartner prognostiziert dass agentenbasierte KI bis 2029 80 % der häufig auftretenden Kundenserviceanfragen autonom und ohne menschliches Eingreifen lösen wird, was zu einer Senkung der Betriebskosten um 30 % führt. Bei solchen Zahlen ist es nur eine Frage der Zeit, bis Agenten in großem Umfang weitere geschäftliche Aufgaben übernehmen und schließlich in zentrale Produktfunktionen integriert werden. 

Unterdessen bieten zwei überarbeitete US-amerikanische Richtlinien zum Einsatz von KI in Bundesbehörden einen aufschlussreichen Ausblick auf die Zukunft der KI. Memorandum M-25-21 des Office of Management and Budget (OMB) des Weißen Hauses, veröffentlicht am 7. April 2025, besagt: „Die Behörden sollten sich darauf konzentrieren, die Wirksamkeit ihrer Aufgabenerfüllung durch den Einsatz von KI zu verbessern, indem sie auf ihren bestehenden Fähigkeiten aufbauen, um verantwortungsvolle KI-Innovationen voranzutreiben, ihre Fachkräfte für KI und KI-gestützte Technologien zu stärken und ihre Fähigkeit zur Entwicklung und Beschaffung von KI zu verbessern.“ In Unternehmen dürften die Ziele dieselben sein. 

Das Memorandum verpflichtet alle Bundesbehörden, innerhalb von 60 Tagen einen Chief AI Officer mit „umfassender KI-Expertise“ im Amt zu bestätigen oder zu ernennen und innerhalb von 180 Tagen eine Strategie zur Förderung von KI zu veröffentlichen. Es enthält außerdem eine Liste von Kategorien, in denen der Einsatz von KI als primäre Grundlage für eine Entscheidung oder Maßnahme als „besonders folgenreich“ gilt. Dazu gehören beispielsweise:

• Sicherheitskritische Funktionen von Infrastrukturen oder staatlichen Einrichtungen, einschließlich Notfalldiensten, Lebensmittelsicherheit und Verkehrssteuerungssystemen;
• Im Gesundheitswesen: medizinisch relevante Funktionen von Medizinprodukten; Diagnose oder Behandlung von Patienten; Steuerung der Krankenversicherungskosten und Risikoprüfung;
• Kontrolle des Zugangs zu oder der Sicherheit von Regierungseinrichtungen;
• Im Bereich der Strafverfolgung: Erstellung von Risikobewertungen zu Einzelpersonen; Identifizierung von Verdächtigen; Vorhersage von Straftaten; Verfolgung von Personen und Fahrzeugen; Einsatz biometrischer Identifizierung; Überwachung sozialer Medien; Erkennung von Waffen oder gewalttätigen Aktivitäten; Entscheidungen im Zusammenhang mit Inhaftierung, Strafzumessung, Bewährung oder Kaution
• Möglichkeit, Anträge auf wichtige Dienstleistungen, Verfahren und Leistungen des Bundes zu stellen, oder Entscheidung über solche Anträge, einschließlich Darlehen und Zugang zu öffentlich gefördertem Wohnraum;
• Festlegung der Beschäftigungsbedingungen im öffentlichen Dienst des Bundes, einschließlich Vergütung oder Beförderung, Leistungsmanagement, Einstellung oder Kündigung sowie Disziplinarmaßnahmen.

Vorsicht: Agenten bei der Arbeit

Die nicht abschließende Liste deutet darauf hin, dass das Weiße Haus diese und andere Aktivitäten mit weitreichenden Folgen als realistische Anwendungsfälle für KI betrachtet. Obwohl das Memorandum nicht ausdrücklich auf KI-Agenten eingeht, würde der Großteil der Anwendungsfälle – etwa Entscheidungen über den Zugang zu Wohnraum, Krediten oder Sozialleistungen – eindeutig voraussetzen, dass Modelle mit anderen Tools und Datenbanken verbunden werden, die wahrscheinlich sensible und personenbezogene Daten enthalten.

Das ist problematisch, denn alle führenden KI-Modelle, die als „Gehirn“ von KI-Agenten fungieren, weisen nachweislich Schwachstellen auf – ein Aspekt, der beim Einsatz von KI für geschäftliche Aktivitäten auf Unternehmensebene unbedingt ernst genommen werden muss. Der aktuelle GenAI Security Incident & Exploit Round-Up von OWASP etwa zeigt, wie böswillige Akteure Modelle mittels Jailbreaking manipulieren und KI für Phishing- und Voice-Cloning-Betrugsmaschen einsetzen. Durch Vernetzung und Interoperabilität entstehen zudem neue Angriffsvektoren, die die Sicherheitsrisiken erheblich erhöhen.

Erschwerend kommt hinzu, dass das Bedrohungsniveau direkt mit der Anzahl der Tools zusammenhängt, die mit dem bzw. den Agenten verknüpft sind. Hat ein Agent Zugriff auf Datenbanken, sind potenziell alle Datenbanken im Unternehmen gefährdet. Verfügt er über E-Mail- und Browserzugriff, könnte das E-Mail-System mit einem bösartigen Agenten verbunden werden, der unermüdlich versucht, sich mittels Phishing Zugang zum Unternehmen zu verschaffen. (Anders als menschliche Angreifer werden Agenten nie müde und können in Echtzeit reagieren, wodurch ihre Täuschungsversuche noch glaubwürdiger werden.)

Betrachten wir nun den Kombinationsfaktor: Ein Agent, der sowohl Zugriff auf die Datenbank als auch auf E-Mails hat, könnte von einem böswilligen Akteur als Waffe eingesetzt werden, um Daten auszuschleusen oder einen Infiltrationsangriff durchzuführen, bei dem neue Daten in das System eingeschleust werden. Darüber hinaus besteht die Gefahr, dass Insider den Agenten versehentlich oder in böswilliger Absicht missbrauchen und dadurch noch größeren Schaden anrichten, da sie sich bereits innerhalb der Sicherheitsvorkehrungen des Unternehmens befinden.

Da Modelle zunehmend zur Massenware werden, ist klar, dass bei der Bewertung von KI-Systemen und Agenten für den Arbeitsplatz die Sicherheit und nicht die Leistung das entscheidende Unterscheidungsmerkmal ist. Ein leistungsstarkes System, das anfällig für Angriffe oder Ausnutzung ist, hat in Unternehmen oder Bundesbehörden keinen Platz.

Das Memorandum weist die Bundesbehörden seinerseits an, „vertrauenswürdige KI“ einzusetzen und Mindeststandards für das Risikomanagement bei KI-Systemen mit weitreichenden Auswirkungen umzusetzen. Erbringt ein solches KI-System nicht die erforderliche Leistung, müssen die Behörden über einen Plan verfügen, um seinen Einsatz auszusetzen, bis Maßnahmen zur Einhaltung der Vorgaben ergriffen wurden. Unternehmen, die den Einsatz von KI-Agenten erwägen, sollten ähnliche Pläne vorsehen.

Eine neue Sicherheitsstrategie

Ein wirksames Risikomanagement muss jedoch bereits vor einem Ereignis ansetzen, anstatt sich auf dessen Folgen zu konzentrieren. Die vom jeweiligen Agens ausgehende Bedrohung zu verstehen, ist der erste Schritt, um angemessen damit umzugehen. Eine genaue Einschätzung des Gefährdungsgrads eines bestimmten Agens ist unerlässlich – erstens, um festzustellen, ob überhaupt Maßnahmen erforderlich sind, und zweitens, um eine fundierte Entscheidung über geeignete Maßnahmen treffen zu können.

Wenn bei den Sicherheitsmaßnahmen über das Ziel hinausgeschossen wird, können sie Innovationen hemmen; greifen sie hingegen zu kurz, können sie die Bedrohung nicht wirksam eindämmen. Herkömmliche Instrumente wie manuelles Red Teaming und wenig differenzierte Kennzahlen wie die Angriffserfolgsquote, bei der alle Angriffe gleich gewichtet werden, reichen jedoch angesichts der Lern- und Anpassungsfähigkeit von KI nicht aus, um den von ihr ausgehenden Bedrohungen zu begegnen.

Ein komplexer neuer Angriffsvektor erfordert eine neue Sicherheitsstrategie. Unter diesen Umständen können Unternehmen ihre Sicherheitsmaßnahmen am effektivsten ausbauen, indem sie Art und Komplexität des Angriffs genau verstehen und geeignete Maßnahmen ergreifen.

Dies gelingt am besten, indem man Gleiches mit Gleichem bekämpft und intelligente, anpassbare KI-Agenten einsetzt, um Interaktionen mit Angreifern zu simulieren und Red-Teaming-Tests von KI-Systemen vor deren Einführung zu automatisieren. F5 AI Red Team stellt Unternehmen ein Team von Testagenten zur Verfügung, mit dem Sicherheitsverantwortliche das von KI ausgehende Bedrohungsniveau quantifizieren und entsprechende Abhilfemaßnahmen ergreifen können.

Automatisiertes Red-Teaming bildet reale Aktivitäten so realitätsnah wie möglich ab und schließt zugleich das Zeitfenster, das Angreifern traditionell einen Vorteil verschafft. So erhalten Unternehmen schnellstmöglich den effektivsten Sicherheitsschutz. Bei F5 haben wir einzigartige Kennzahlen zur Sicherheitsbewertung entwickelt: den Comprehensive AI Security Index (CASI) und den Agentic Resistance Score (ARS). Diese bewerten die Sicherheit von KI-Modellen und bilden die Grundlage für die Platzierungen in den jeweiligen Bestenlisten.

Natürlich ist Sicherheit niemals mit einer einmaligen Maßnahme erledigt – und bei Agenten ist das nicht anders. Eine kontinuierliche Überwachung ist entscheidend, um die Bedrohungslage dauerhaft zu minimieren und ein angemessenes Sicherheitsniveau aufrechtzuerhalten. Mit der zunehmenden Verbreitung agentenbasierter KI bietet ein proaktiver Sicherheitsansatz die besten Chancen, Agenten sicher einzusetzen und die Nutzung von KI für die vorgesehenen Zwecke zu beschleunigen.

Über den Autor

James WhiteCTO, KI-Sicherheit | F5

James White ist ein erfolgreicher Ingenieur und Unternehmensleiter mit fast zwei Jahrzehnten Erfahrung in der Unternehmenssoftwarebranche.

Weitere Blogbeiträge von James White