F5 AI Red Team

Beim manuellen KI-Red-Teaming suchen menschliche Fachleute auf kreative Weise nach Schwachstellen in KI-Systemen, während beim automatisierten Red-Teaming Tools und Skripte für systematische Tests in großem Maßstab eingesetzt werden. Der beste Ansatz kombiniert beides: Automatisierung für eine umfassende Abdeckung und menschliche Expertise für differenzierte, kreative Angriffsszenarien.

Ohne adversariale Tests riskieren Unternehmen Prompt-Injection-Angriffe, Datenlecks, Jailbreaks und unautorisierte Ausgaben, die sensible Daten offenlegen, den Ruf der Marke schädigen und geistiges Eigentum gefährden können. Die Erkenntnisse aus adversarialen Tests können zudem als Grundlage für Programme zum KI-Risikomanagement und zur Einhaltung regulatorischer Vorgaben dienen, die an Rahmenwerken wie dem NIST AI Risk Management Framework (AI RMF) und dem EU AI Act ausgerichtet sind.

KI-Red-Teaming nimmt gezielt KI-/ML-Modelle und deren spezifische Schwachstellen ins Visier, darunter Prompt Injection und KI-spezifische Jailbreaks, während sich herkömmliche Penetrationstests auf Sicherheitslücken in Netzwerken, Anwendungen und Infrastrukturen konzentrieren. Darüber hinaus kann es Sicherheitsteams dabei unterstützen, KI-spezifische Risiken zu bewerten, die in Frameworks wie den OWASP Top 10 für LLM-Anwendungen aufgeführt sind.

Die Häufigkeit von Red-Teaming-Maßnahmen hängt von den jeweiligen Risikodefinitionen sowie von branchenspezifischen und regulatorischen Anforderungen ab. Angesichts der rasanten Veränderungen der KI-Bedrohungslandschaft sollte Red Teaming mindestens monatlich durchgeführt werden. Viele Teams erstellen jedoch täglich Red-Team-Berichte als festen Bestandteil ihrer CI/CD-Pipelines.

Derzeit setzt F5 AI Red Team Agenten zur Durchführung von Angriffskampagnen ein. Das Ziel dieser Kampagnen ist jedoch ein bereitgestelltes Modell oder eine bereitgestellte Anwendung und nicht speziell ein Agent. KI-Agenten sind im Kern lediglich Modelle, die über Tool-Aufrufe verkettete Aufgaben ausführen können. Daher gelten viele der für das Modell entdeckten Schwachstellen entsprechend auch für agentenbasierte Workflows.

Open-Source-Frameworks wie Microsoft PyRIT können benutzerdefinierte Workflows für KI-Red-Teaming und Sicherheitsforschung unterstützen. F5 AI Red Team ergänzt dies durch automatisierte Angriffstests auf Unternehmensebene – mit einer kontinuierlich aktualisierten Angriffsdatenbank, mehrstufigen Tests, agentenbasierten Fingerprints, wiederkehrenden Kampagnen, Berichtsfunktionen sowie Bereitstellungsoptionen für Cloud- und lokale Umgebungen.

F5 AI Red Team kann Anwendungen mit Retrieval-Augmented Generation (RAG) auf Datenlecks, Prompt-Injection und andere ausnutzbare Schwachstellen testen, bevor diese tatsächlich ausgenutzt werden. Die Erkenntnisse können anschließend in Abhilfemaßnahmen und Laufzeitkontrollen einfließen, einschließlich F5 AI Guardrails, um KI-Interaktionen in Produktionsumgebungen besser zu schützen.

Bei Prompt Injection werden bösartige Anweisungen eingesetzt, um ein Modell oder eine Anwendung dazu zu bringen, das vorgesehene Verhalten außer Kraft zu setzen. Dazu zählt auch die indirekte Prompt Injection über abgerufene Inhalte oder verbundene Daten. Jailbreaking ist eine Form des adversarial Prompting, die darauf abzielt, Sicherheitskontrollen oder Beschränkungen eines Modells zu umgehen. Beim AI Red Teaming werden beide Methoden getestet, um Schwachstellen zu identifizieren, über die Modelle, Anwendungen und Workflows manipuliert werden können, bevor Angreifer diese ausnutzen.