Agentische KI absichern: Wie F5 die OWASP Agentic Top 10 abdeckt

Louise ScullySenior Manager, Produktmarketing, KI-Sicherheit & Bedrohungsanalyse | F5

Agentische KI befindet sich heute ungefähr auf dem Stand, auf dem generative KI vor einem Jahr war. Die meisten Unternehmen mit agentischen KI-Projekten befinden sich noch in der Pilotphase, doch einige erste Workloads beginnen bereits, mit Produktivsystemen zu interagieren. Teams gehen über einfache Modellabfragen hinaus und experimentieren mit Orchestrierungsagenten, spezialisierten Arbeitsagenten und Workflows, die Tools nutzen und Aktionen anwendungs- und dienstübergreifend koordinieren können.

Mit der Weiterentwicklung dieser agentenbasierten Systeme verändern sich auch die Risiken. Bei herkömmlichen Interaktionen mit LLMs beginnen und enden Fehler häufig innerhalb eines einzigen Prompt-Antwort-Austauschs zwischen dem Modell und Menschen. In agentenbasierten Systemen breiten sich Fehler über mehrstufige Pläne, die Nutzung von Tools, die Verwaltung und Wiederverwendung von Kontext sowie die Interaktionen zwischen Agenten und bestehenden Anwendungen aus.

Die neuen OWASP Top 10 für agentenbasierte Anwendungen bieten einen strukturierten Überblick darüber, wo diese Risiken entstehen. Sie definieren zehn Fehlerkategorien, die auftreten, wenn Modelle und Agenten Ziele, Werkzeuge, Kontext und die Fähigkeit erhalten, systemübergreifend zu agieren. Die Liste baut auf den zuvor angekündigten OWASP Top 10 für Anwendungen mit großen Sprachmodellen auf und befasst sich mit Bedrohungen durch agentenbasierte KI im Zusammenhang mit Autonomie, Werkzeugnutzung, Kontextverwaltung, Lieferketten und Interaktionen zwischen mehreren Agenten.

Mit dieser neuen OWASP Top 10 erhalten Sicherheitsverantwortliche und Compliance-Teams eine gemeinsame Sprache, um Risiken agentenbasierter KI zu erörtern, Sicherheitsmaßnahmen aufeinander abzustimmen und festzulegen, welche Bereiche zuerst angegangen werden sollten.

Warum dies für CISOs wichtig ist

Die OWASP Agentic Top 10 zeigen die Fehlermuster auf, die für die sichere Einführung von KI maßgeblich sind. CISOs müssen diese Empfehlungen nun auf Systeme anwenden, die bereits in den Produktivbetrieb überführt werden.

F5 unterstützt dies durch:

• F5 AI Guardrails, die zur Laufzeit Sicherheitsrichtlinien durchsetzen, um das Verhalten von KI zu steuern, wenn agentenbasierte Systeme in den Produktivbetrieb übergehen.
• F5 AI Red Team, zur Evaluierung von GenAI-Systemen, um deren Widerstandsfähigkeit unter realen Bedingungen in Bezug auf Modellverhalten, Anwendungen und agentische Ausführungspfade zu bewerten.
• Umfassender KI-Sicherheitsindex (CASI) und Bewertung der agentischen Widerstandsfähigkeit (ARS), bereitgestellt über F5 Labs, mit standardisierten Benchmarks zur Messung der Widerstandsfähigkeit auf Modell- und Systemebene und zur Unterstützung fundierter Sicherheitsentscheidungen.

Mit der zunehmenden Verbreitung agentischer KI werden diejenigen Unternehmen am meisten profitieren, die von Anfang an auf Resilienz setzen und Sicherheit als grundlegendes Prinzip bei der Entwicklung und dem Betrieb dieser Systeme betrachten.

OWASP Agentic Top 10 – Wie sich diese Risiken manifestieren

ASI01 – Übernahme des Agentenziels

Wenn die Ziele eines Agenten durch Prompt-Injection, manipulierten Kontext oder Abweichungen vom Plan verändert werden.

• F5 AI Red Team testet Szenarien mit indirekter Prompt-Injection aus seiner Angriffsbibliothek, bei denen von Angreifern kontrollierte oder nicht vertrauenswürdige Inhaltsquellen wie Dokumente, Webseiten, E-Mails oder Tool-Ausgaben genutzt werden, um schädliche Anweisungen einzuschleusen und zu bewerten, wie leicht sich die Ziele eines Agenten verändern lassen.
• F5 AI Guardrails erzwingt die Eingabevalidierung und schränkt unsichere oder nicht konforme Schlussfolgerungspfade während der Inferenz ein, wodurch das Risiko unbeabsichtigten nachgelagerten Verhaltens reduziert wird.
• ARS misst die Widerstandsfähigkeit gegenüber anhaltenden, agentengesteuerten, mehrstufigen Angriffssequenzen.

ASI02 – Missbrauch und Ausnutzung von Tools

Wenn ein Agent Tools missbräuchlich verwendet oder Angreifer Tool-Schnittstellen als Ausgangspunkte für weitere Angriffe nutzen.

• F5 AI Guardrails validiert werkzeugbezogene Anfragen zur Laufzeit und schränkt Schlussfolgerungsmuster ein, die zu unsicheren Interaktionen mit Werkzeugen führen könnten.
• CASI und ARS spiegeln die Anfälligkeit für Missbrauch bei repräsentativen Ausführungsmustern wider.

ASI03 – Missbrauch von Identitäten und Berechtigungen

Wenn Agenten Anmeldedaten, Token oder erweiterte Zugriffsrechte übernehmen oder missbrauchen.

• F5 AI Guardrails kann Geheimnisse, Anmeldedaten oder Token im Reasoning-Kontext erkennen und sie blockieren oder protokollieren, bevor ein Tool mit implizitem oder explizitem Zugriff aufgerufen wird.

ASI04 – Schwachstellen in der Lieferkette agentenbasierter Systeme

Risiken, die von MCP-Servern, Registrys, externen Prompt-Paketen und Drittanbieter-Tools ausgehen, die Agenten-Workflows unterstützen.

• F5 AI Guardrails erkennt und blockiert zur Laufzeit während Agenten-Workflows verborgene Anweisungen oder eingeschleuste Prompts, die in von Agenten verwendeten Daten eingebettet sind, einschließlich Daten aus vertrauenswürdigen oder zuvor genehmigten Quellen.
• CASI und ARS bewerten Risiken auf Systemebene und erfassen, wie sich Schwachstellen über Modelle und Ausführungsmuster hinweg ausbreiten, anstatt jede Komponente isoliert zu betrachten.

ASI05 – Unerwartete Codeausführung

Wenn Agenten Code, Shells oder Konfigurationen auf unsichere Weise generieren, ausführen oder ändern.

• F5 AI Guardrails wendet detaillierte Richtlinien auf codebezogene Ausgaben an, setzt Positivlisten durch und blockiert risikoreiche Muster.
• CASI und ARS erfassen diese Verhaltensweisen über repräsentative Ausführungspfade hinweg.

ASI06 – Kontextverwaltung und Manipulation des Informationsabrufs

Wenn persistenter oder abgerufener Kontext vergiftet oder manipuliert wird oder sich schleichend verändert.

• F5 AI Red Team bewertet Szenarien, in denen Agenten nicht vertrauenswürdigen oder irreführenden Kontext verarbeiten und wiederverwenden, der über reguläre Laufzeiteingaben bereitgestellt wird, und untersucht dabei, wie sich eine Verschlechterung des Kontexts auf nachgelagerte Schlussfolgerungen und Aktionen auswirkt.
• F5 AI Guardrails prüft abgerufenen Kontext auf Richtlinienverstöße und erkennt Prompt-Injection-Payloads, bevor sie das Verhalten des Modells beeinflussen.
• CASI und ARS messen die Widerstandsfähigkeit gegenüber der Manipulation des Laufzeitkontexts und der aus Injektionen resultierenden Ausbreitung.

ASI07 – Unsichere Kommunikation zwischen Agenten

Wenn Agenten Nachrichten ohne Absicherung des Kommunikationskanals, Authentifizierung oder Integritätsprüfungen austauschen.

• F5 AI Guardrails kann die Absicht zur Delegierung an Agenten zur Laufzeit erkennen und kennzeichnen, unter anderem wenn ein Agent oder Agentenmanager prüft, welcher Agent zur Ausführung einer Aufgabe aufgerufen werden soll, und Richtlinienkontrollen anwenden, um risikoreiche Delegierungsentscheidungen einzuschränken.
• CASI und ARS bieten Einblicke darin, wie mehrstufige Ausführungsmuster mit mehreren Agenten das systemische Risiko im Laufe der Zeit erhöhen.

ASI08 – Kaskadierende Ausfälle

Wenn sich mehrere Risiken über verschiedene Schritte, Agenten oder Systeme hinweg gegenseitig verstärken.

• F5 AI Guardrails begrenzt den Schadensradius durch Kontingente, Richtlinienkontrollen und die Durchsetzung zur Laufzeit.
• CASI misst die Widerstandsfähigkeit gegenüber verschiedenen Angriffsvektoren, während ARS bewertet, wie weit sich Fehler bei einer länger andauernden, mehrstufigen agentischen Ausführung ausbreiten können.

ASI09 – Ausnutzung des Vertrauens zwischen Mensch und Agent

Wenn Agenten menschliches Vertrauen durch überzeugende oder irreführende Anweisungen ausnutzen.

• F5 AI Guardrails kennzeichnet und blockiert unsichere Inhalte und protokolliert Entscheidungen für Audits.
• F5 AI Red Team simuliert Social-Engineering-Muster, um die Gestaltung von Arbeitsabläufen zu verbessern und das Bewusstsein der Bediener zu schärfen.

ASI10 – Abtrünnige Agenten

Wenn kompromittierte oder vom vorgesehenen Verhalten abweichende Agenten unentdeckt in komplexen Systemen verbleiben.

• F5 AI Guardrails setzt Richtlinien auch bei sich veränderndem Agentenverhalten konsequent durch und blockiert unsichere Ausführungsmuster oder Versuche, Daten auszuschleusen.
• CASI und ARS erkennen Verhaltensabweichungen, indem sie messbare Veränderungen der Risikosignale im Zeitverlauf verfolgen.

Wie F5 KI-Sicherheit für agentenbasierte Workflows bereitstellt

KI-Sicherheit ist ein zentraler Bestandteil der F5 Application Delivery and Security Platform (ADSP). Agentenbasierte Workflows bringen neue Risiken mit sich, die sich daraus ergeben, wie Prompts, Tools, Kontext und Agenten auf Anwendungs- und API-Ebene interagieren. Diese Interaktionen erfolgen jedoch weiterhin über dieselben Web-, API-, Datenebenen- und Steuerungsebenenpfade, die Unternehmen bereits heute schützen.

Durch die Ausweitung von Sicherheitskontrollen und Transparenz auf das Verhalten während der Inferenz ermöglicht F5 Unternehmen, agentenbasierte Risiken zu bewältigen und dabei auf den bewährten Grundlagen ihrer Anwendungssicherheit aufzubauen.

F5 unterstützt weiterhin die Bemühungen der breiteren Community zur Stärkung sicherer KI-Praktiken, einschließlich der Arbeit des OWASP GenAI Security Project.

Erfahren Sie mehr über F5 AI Red Team und F5 AI Guardrails.

Über den Autor

Louise ScullySenior Manager, Produktmarketing, KI-Sicherheit & Bedrohungsanalyse | F5

Louise Scully ist Senior Managerin im Produktmarketing für KI-Sicherheit und Threat Intelligence bei F5. Im Laufe ihrer Karriere war sie in den Bereichen Produktmarketing, Produktmanagement, Markteinführungsstrategie, Kommunikation, Thought Leadership und Kategorieentwicklung für KI-Sicherheit und Unternehmenstechnologie tätig. Bevor sie zu F5 kam, leitete Louise das Marketing bei CalypsoAI und Artomatix und trug dazu bei, KI-Technologien und Forschungsergebnisse auf den Markt zu bringen.

Weitere Blogbeiträge von Louise Scully