Einblicke in das KI-Sicherheitsmodell von F5 Labs: Wenn KI-Agenten Daten ohne Zutun eines Angreifers offenlegen

Malcolm HeathLeitender Forscher für Cybersicherheitsbedrohungen | F5

Louise ScullySenior Manager, Produktmarketing, KI-Sicherheit & Bedrohungsanalyse | F5

KI-Agenten sind darauf ausgelegt, Aufgaben autonom zu erledigen. Dabei finden sie oft Wege, ein Ziel zu erreichen, die ihre Betreiber möglicherweise nicht vorhergesehen haben. Jüngste Vorfälle zeigen, wie Agenten bei der Erledigung ihrer Aufgaben unerwartet kritische Daten offenlegen oder unerwünschte Workflows auslösen können.

Bei diesen Vorfällen sind nicht zwangsläufig böswilliges Verhalten oder kompromittierte Modelle im Spiel. Risiken können entstehen, wenn Agenten legitime Ziele verfolgen, aber ohne angemessene Kontrollmechanismen arbeiten, die regeln, worauf sie zugreifen, was sie ausführen oder welche Informationen sie weitergeben dürfen. Dadurch können sensible Daten öffentlich zugänglich werden und potenziell auch in die Hände böswilliger Akteure gelangen, ohne dass je ein Angreifer beteiligt war.

Zwei Beispiele für diese Art von Risiko werden im Oktoberbericht „AI Security Insights“ von F5 Labs näher beleuchtet. Dieser monatliche Bericht untersucht anhand der KI-Sicherheitsranglisten von F5 Labs die Widerstandsfähigkeit von Modellen sowie neue Bedrohungen, Schwachstellen und Sicherheitsvorfälle, die KI-Systeme betreffen. Er befasst sich außerdem mit neuen Bedrohungen und Vorfällen im Bereich der KI-Sicherheit, darunter zwei Fälle in diesem Monat, in denen Agenten bei der Ausführung legitimer Aufgaben vertrauliche Informationen offenlegten, ohne dass ein externer Angreifer beteiligt war. Diese Vorfälle verdeutlichen, dass Sicherheitsrisiken nicht nur durch Schwachstellen in Modellen entstehen können, sondern auch durch das Verhalten von Agenten und die Kontrollmechanismen, die ihre Handlungen steuern.

Beachten Sie das Gesetz der unbeabsichtigten Folgen

Einer dieser Vorfälle, die kürzlich bekannt gewordene Datenoffenlegung durch PixelLeak, verdeutlicht die Risiken autonom handelnder Agenten, wenn angemessene Sicherheitskontrollen nicht durchgesetzt werden. KI-Programmieragenten werden häufig damit beauftragt, Pull Requests Vorher-Nachher-Screenshots der Entwicklungsarbeit beizufügen. Doch niemand hatte damit gerechnet, dass sie dazu die proprietären und potenziell sensiblen Bilder in öffentlichen GitHub-Repositories veröffentlichen würden.

Agenten verwenden eine Befehlszeilenschnittstelle (CLI) anstelle der Browseroberfläche, über die Menschen auf den Bildhosting-Dienst zugreifen. Da es keine Möglichkeit gab, Bilder über die Befehlszeile zu privaten Pull Requests hinzuzufügen, kamen die Agenten zu dem Schluss, stattdessen öffentliche Repositorys erstellen zu müssen, um nicht funktionierende Links für die Reviewer zu vermeiden. Einige Entwickler nutzten außerdem gitshot, ein Open-Source-Tool zum Veröffentlichen von Screenshots, das mit der Erstellung öffentlicher Repositorys in Verbindung steht. Laut der Untersuchung wurde das Tool von Entwicklern in etwa einem Drittel der betroffenen Organisationen eingesetzt.

Mehr als 13.000 interne Screenshots und Aufzeichnungen wurden in über 900 öffentlichen GitHub-Repositories offengelegt. Betroffen waren mehr als 300 Organisationen. Innerhalb einer Woche hatten mehr als ein Dutzend Agenten bei einem Softwareanbieter diese Behelfslösung als wiederverwendbare Fähigkeit hinterlegt. Das übergeordnete Sicherheitsproblem besteht darin, dass Agenten potenziell sensible Inhalte außerhalb der üblichen Unternehmenskontrolle in öffentlichen Repositories veröffentlichen konnten. Da sich 93 % der betroffenen Repositories in persönlichen Konten befanden, unterstreichen die Ergebnisse, wie wichtig es ist, verbindlich zu kontrollieren, wo Agenten Daten veröffentlichen dürfen, statt sich allein auf vorgesehene Arbeitsabläufe oder Entwickleranweisungen zu verlassen.

Ein weiterer im Oktober gemeldeter Vorfall weckte Bedenken hinsichtlich der Offenlegung von Daten in gemeinsam genutzten KI-Agentenumgebungen. Laut einem Bericht des Betroffenen veröffentlichte ein auf Grok basierender persönlicher Assistenzagent Informationen über die persönlichen Finanzen seines Besitzers in einem beruflichen Slack-Kanal, dem auch der Besitzer des Agenten angehörte. Der Grok-Bot sollte die Bankkonten seines Besitzers ausschließlich mit Lesezugriff prüfen, die Ausgaben analysieren und monatlich über die Ergebnisse berichten. Entscheidend dabei: Der Agent hatte keine Slack-Anbindung; er sollte seinem Besitzer den Prüfbericht auf anderem Wege zukommen lassen.

Stattdessen waren die Finanzdaten des Besitzers zwei Stunden lang im Slack-Kanal seines Unternehmens zu sehen, als hätte er die Informationen selbst gepostet, bis ein Kollege darauf aufmerksam machte. Auch wenn der gemeldete Vorfall bislang nicht verifiziert wurde, verdeutlicht er ein ernst zu nehmendes Sicherheitsrisiko: Berechtigungen auf Agentenebene bieten möglicherweise keine ausreichende Abschottung, wenn mehrere Agenten innerhalb derselben Umgebung Zugangsdaten, Sitzungen oder Integrationen gemeinsam nutzen.

Der Finanz-Bot hatte keinen Zugriff auf Slack, ein anderer Bot im selben Konto hingegen schon – und alle Bots eines Nutzers teilen sich Ressourcen. Tatsächlich warnt die Dokumentation von SpaceXAI ausdrücklich davor, separate Bots als Sicherheitsgrenze zu betrachten. Der gemeldete Vorfall wirft die Frage auf, ob agentenspezifische Berechtigungen in gemeinsam genutzten Umgebungen ausreichenden Schutz bieten. Wenn Agenten auf gemeinsame Zugangsdaten, Sitzungen oder Ressourcen zugreifen können, müssen Unternehmen prüfen, ob eine wirksame Isolation und Zugriffskontrolle gewährleistet sind.

Mit Risiken auch ohne Angreifer rechnen

Diese Vorfälle verdeutlichen einen wichtigen Unterschied: Die Widerstandsfähigkeit eines Modells gegenüber gezielten Angriffen garantiert nicht die Sicherheit jeder darauf aufbauenden Anwendung oder jedes darauf aufbauenden Agenten. Die Robustheit des Modells ist ein wichtiger Aspekt, doch die Sicherheit hängt auch von den Berechtigungen, Integrationen und Kontrollmechanismen ab, die für das eingesetzte KI-System gelten.

F5 Labs’ Comprehensive AI Security Index (CASI) misst die Widerstandsfähigkeit von Modellen gegenüber adversarialen Angriffen, einschließlich Prompt-Injection und Jailbreaks. Der Agentic Resistance Score (ARS) bewertet die Widerstandsfähigkeit gegenüber komplexen, mehrstufigen agentischen Angriffen. Beide liefern wertvolle Erkenntnisse zur Widerstandsfähigkeit gegenüber adversarialen Angriffen. Keiner der beiden ist jedoch dafür ausgelegt, sämtliche Berechtigungen, Integrationen oder Ausführungskontrollen im Umfeld eines bereitgestellten Agenten zu bewerten.

Diese Unterscheidung ist wichtig, weil Agenten innerhalb eines umfassenderen Systems aus Konnektoren, Zugangsdaten, gemeinsam genutzten Ressourcen und Berechtigungen agieren. Die Untersuchung vom Oktober zeigt, wie Schwächen in diesen umgebenden Kontrollmechanismen auch ohne Angreifer zu einer unbeabsichtigten Offenlegung von Informationen führen können. Sie benennt zudem weitere Fälle, darunter GitSpawn und die Schwachstelle im GitLab AI Gateway, bei denen Angreifer Vertrauens- oder Ausführungsgrenzen ausnutzen konnten, die nicht durchgesetzt wurden, als es darauf ankam. Die gemeinsame Erkenntnis lautet: Sicherheitsgrenzen müssen wirksam sein – unabhängig davon, ob eine riskante Aktion von einem Agenten ausgeht, der eine legitime Aufgabe verfolgt, oder von einem Angreifer, der eine Schwachstelle ausnutzt.

Für CISOs bedeutet dies, dass sie nicht nur das Modell bewerten sollten. Die Bedrohungsmodellierung sollte die gesamte Agentenarchitektur abdecken, einschließlich Identität, Autorisierung, Toolzugriff, gemeinsam genutzter Umgebungen und der Folgen autonomer Aktionen. Erkennungsansätze, die sich vor allem auf böswillige Eindringversuche konzentrieren, können auch schädliche Aktionen übersehen, die von ansonsten autorisierten Agenten ausgeführt werden. Eine hohe Widerstandsfähigkeit gegen Angriffe auf Modellebene ist wertvoll. Sie ersetzt jedoch nicht die Durchsetzung und Überwachung von Vorgaben dazu, worauf bereitgestellte Agenten zugreifen, was sie ausführen und welche Informationen sie offenlegen dürfen.

Schützen Sie Ihre Organisation vor Risiken ohne Angreifereinwirkung

Diese Erkenntnisse zeigen, warum sich Unternehmen nicht allein auf das vorgesehene Verhalten eines Agenten oder die Sicherheitsbewertung eines Modells verlassen können. CISOs können nicht jede Handlung eines autonomen Agenten vorhersehen, aber sie können die Auswirkungen unerwarteten Verhaltens verringern, indem sie durchsetzbare Grenzen festlegen und deren Wirksamkeit überprüfen. Fünf Bereiche verdienen besondere Aufmerksamkeit:

1. Erweitern Sie Ihre Definition von KI-Sicherheit. Bewerten Sie die Resilienz des Modells ebenso wie die Sicherheit des gesamten KI-Systems, einschließlich der Identität der Agenten, der Autorisierung, der Isolation, des Zugriffs auf Ressourcen und der Ausführungsumgebungen. Dabei handelt es sich um unterschiedliche, aber einander ergänzende Sicherheitsbewertungen.
2. Berücksichtigen Sie die gesamte KI-Infrastruktur. Beziehen Sie KI-Gateways, Template-Engines und Dienste zur Agentenorchestrierung in die Inventarisierung von Assets, das Schwachstellenmanagement, Patch-Prozesse und die Überprüfung privilegierter Zugriffsrechte ein. Die im Oktober entdeckte Schwachstelle im GitLab AI Gateway zeigt, warum diese Komponenten als sicherheitskritische Infrastruktur behandelt werden müssen.
3. Technische Grenzen durchsetzen. Prompt-Anweisungen und agentenspezifische Einstellungen ersetzen keine wirksame Isolation und Autorisierung, insbesondere wenn Agenten Ressourcen gemeinsam nutzen. Schränken Sie ein, wo Agenten Artefakte veröffentlichen dürfen, prüfen Sie wiederverwendbare, von Agenten erstellte Fähigkeiten und überwachen Sie, welche Ergebnisse die Aktionen der Agenten tatsächlich hervorbringen.
4. Kontrollmechanismen vor der Ausführung überprüfen. Stellen Sie sicher, dass Vertrauens- und Genehmigungskontrollen greifen, bevor potenziell gefährliche Aktionen stattfinden können. Bei der im Oktober entdeckten GitSpawn-Schwachstelle konnte die Repository-Konfiguration bereits beim Start des Agenten die Ausführung von Code auslösen – noch vor den relevanten Vertrauensprüfungen und ohne einen Tool-Aufruf durch das Modell. Überprüfen Sie daher das Startverhalten, die Berechtigungen von Entwickler-Endpunkten und die Pfade der Software-Lieferkette.
5. Bewerten Sie Modelle und Agentenumgebungen bei Änderungen erneut. Die CASI-Ergebnisse vom Oktober zeigen selbst innerhalb einer Modellfamilie Unterschiede: GPT-6 Luna erreichte 93,52 Punkte, Astra 89,62 und Sol 88,22. Modellvarianten erfordern daher jeweils eine eigene Sicherheitsbewertung. Bewerten Sie nach wesentlichen Änderungen auch die Berechtigungen, Integrationen und Infrastruktur der Agenten erneut. Adversarielle Tests, unter anderem mit F5 AI Red Team, können helfen, Schwachstellen zu identifizieren. Sie müssen jedoch durch Prüfungen der operativen Kontrollmechanismen ergänzt werden, die die Aktionen der Agenten steuern.

Die Ergebnisse vom Oktober unterstreichen eine wichtige Erkenntnis für CISOs: Die Widerstandsfähigkeit von Modellen, das Verhalten von Agenten und die Kontrollmaßnahmen rund um eine KI-Bereitstellung müssen gemeinsam bewertet werden. Ein hoher Wert für die Widerstandsfähigkeit gegenüber gezielten Angriffen beseitigt keine Risiken, die sich aus Berechtigungen, Integrationen oder der Infrastruktur ergeben.

Lesen Sie den F5 Labs-Bericht „AI Security Insights“ für Oktober, um sich über die neuesten CASI- und ARS-Ergebnisse, neue Angriffstechniken und Analysen von Schwachstellen in KI-Systemen zu informieren.

Erfahren Sie, wie die F5 AI Security Platform Ihrem Unternehmen helfen kann, sich zu schützen. Lesen Sie auch den Blogbeitrag von F5 Labs zu Threat-Intelligence-Erkenntnissen aus dem vergangenen Monat, der die vielfältigen Sicherheitskennzahlen beleuchtet, die CISOs sowohl vor als auch nach der Bereitstellung von Modellen bewerten müssen.

Über die Autoren

Malcolm HeathLeitender Forscher für Cybersicherheitsbedrohungen | F5

Malcolm Heath ist Principal Threat Researcher bei F5 Labs. Im Laufe seiner Karriere war er sowohl bei sehr großen als auch bei sehr kleinen Unternehmen in den Bereichen Incident Response, Programmmanagement, Penetrationstests, Code-Audits, Schwachstellenforschung und Exploit-Entwicklung tätig. Bevor er zu F5 Labs kam, war er Senior Security Engineer beim F5 SIRT.

Weitere Blogbeiträge von Malcolm Heath

Louise ScullySenior Manager, Produktmarketing, KI-Sicherheit & Bedrohungsanalyse | F5

Louise Scully ist Senior Managerin im Produktmarketing für KI-Sicherheit und Threat Intelligence bei F5. Im Laufe ihrer Karriere war sie in den Bereichen Produktmarketing, Produktmanagement, Markteinführungsstrategie, Kommunikation, Thought Leadership und Kategorieentwicklung für KI-Sicherheit und Unternehmenstechnologie tätig. Bevor sie zu F5 kam, leitete Louise das Marketing bei CalypsoAI und Artomatix und trug dazu bei, KI-Technologien und Forschungsergebnisse auf den Markt zu bringen.

Weitere Blogbeiträge von Louise Scully