Was Ihrem KI-Red-Team fehlt – und wie Sie das beheben

Jessica BrennanSenior Product Marketing Manager, KI-Sicherheit | F5

Red-Teaming ist seit Langem ein Eckpfeiler der Unternehmenssicherheit. Bei generativer KI setzen die meisten Unternehmen jedoch veraltete Taktiken gegen eine neuartige Bedrohungslandschaft ein. Statische Prompt-Tests, einmalige Audits und CLI-basierte Tools können zwar offensichtliche Schwachstellen aufdecken, bilden aber nur selten die reale Komplexität des Verhaltens von GenAI-Systemen nach ihrer Bereitstellung ab.

Dieser Beitrag beleuchtet die wichtigsten blinden Flecken der meisten KI-Red-Teaming-Strategien sowie Best Practices, die Sicherheitsverantwortliche anwenden können, um sich weiterzuentwickeln.

Warum statische Tests in einer dynamischen KI-Welt nicht ausreichen

Traditionelles KI-Red-Teaming-Tools konzentrieren sich häufig auf die Erfolgsquote von Prompt-Injections: Hat das Modell geantwortet oder die Antwort verweigert? Doch dieses binäre Ergebnis lässt das Gesamtbild außer Acht. War die Verweigerung auch bei Variationen zuverlässig? Hat das Modell das Gespräch umgelenkt oder auf subtile Weise in die Irre geführt? War es anfällig für indirekte, mehrstufige Abfragen?

Die meisten Red Teams beschränken sich auf oberflächliche Indikatoren und können differenzierte Schwachstellen, die sich erst im Laufe der Zeit zeigen, nicht angemessen berücksichtigen. Da Unternehmen zunehmend Open-Source- oder experimentelle Modelle testen – oft mit begrenztem Einblick in die internen Sicherheitsmechanismen –, fordern Sicherheitsverantwortliche vor der Einführung einen fundierteren, stärker prinzipienbasierten Validierungsansatz.

Der Aufstieg des agentenbasierten Red Teamings

Eine der vielversprechendsten Entwicklungen im Bereich der KI-Sicherheit ist der Übergang von statischen Prompts zu agentenbasiertem Red-Teaming – einer Methode, bei der autonome gegnerische Agenten das Verhalten von Modellen untersuchen und sich im Laufe der Zeit daran anpassen.

Anstatt einen festen Satz von Prompts auszuführen, erhalten diese Agenten absichtsbasierte Ziele (z. B. vertrauliche Daten extrahieren, Moderationsmechanismen umgehen oder sich als interne Rollen ausgeben) und dürfen ihre Versuche iterativ anpassen. Sie lernen aus den Antworten des Modells und setzen zunehmend ausgefeilte, indirekte Methoden ein, um ihr Ziel zu erreichen – ähnlich wie reale Angreifer vorgehen.

Dieser Ansatz deckt nicht nur Schwachstellen auf, die herkömmliche Tools übersehen, sondern spiegelt auch die sich abzeichnende Risikolandschaft wider: eine Landschaft, in der Modelle mit komplexen Systemen und anderen Agenten interagieren und sich Bedrohungen im Laufe der Zeit entfalten, statt isoliert aufzutreten.

KI im Kontext testen: Warum MCP alles verändert

Dieser Wandel hin zu dynamischen, agentenbasierten Systemen wird nun in technischen Protokollen formalisiert, insbesondere im Model Context Protocol (MCP). MCP legt fest, wie Kontext über Tools, Agenten und Modellinteraktionen hinweg weitergegeben und beibehalten wird. Dieser Kontext kann Systemanweisungen, den Aufgabenverlauf oder einen gemeinsamen Speicher von KI-Komponenten umfassen.

Aus Sicherheitsperspektive stellt MCP eine neue Art von Red-Teaming-Herausforderung dar: Es gilt, nicht nur einzelne Modellantworten zu bewerten, sondern auch, wie sich Modelle innerhalb einer Abfolge verhalten, in der sich Anweisungen, Abhängigkeiten und Ziele fortlaufend verändern.

Ein Modell, das in einem isolierten Test unter kontrollierten Bedingungen sicher erscheint, kann versagen, wenn es einen kompromittierten Kontext übernimmt oder von vorgelagerten Agenten manipuliert wird. Red Teams, die den Kontextfluss außer Acht lassen, übersehen wahrscheinlich ganze Kategorien realer Sicherheitslücken.

Warum kontextbezogene Tests binären Ergebnissen überlegen sind

All dies weist auf eine grundlegendere Erkenntnis hin: Binäre Ergebnisse wie „bestanden/nicht bestanden“ bei einer einzelnen Eingabeaufforderung reichen nicht mehr aus. Um fundierte Sicherheitsentscheidungen treffen zu können, müssen Teams verstehen, wie Systeme versagen, warum sie versagen und unter welchen Bedingungen.

Kontextbezogene Tests decken Muster, Abhängigkeiten und Feinheiten auf, die verborgene Schwachstellen in GenAI-Systemen offenlegen können. Dazu gehört auch, wie Modelle auf Zustandsänderungen, die erneute Eingabe von Prompts oder die Verkettung adversarieller Angriffe reagieren – Aspekte, die durch statisches Red-Teaming nicht erfasst werden.

Über die Untersuchung auf Modellebene hinaus ist ein tiefgreifendes, anwendungsspezifisches Red-Teaming unerlässlich, wenn Sie KI zur Laufzeit einsetzen. Insbesondere bei RAG-Pipelines oder agentenbasierten Workflows, bei denen interne Daten während der Inferenz eingebunden werden, bestimmt das Verhalten der Anwendung – und nicht nur das zugrunde liegende Modell – Ihr Gefährdungspotenzial.

Diese tiefergehenden Erkenntnisse stellen auch höhere Anforderungen an die Berichterstattung. Es reicht nicht aus, eine Schwachstelle zu kennzeichnen. Sie müssen aufzeigen, wodurch sie ausgelöst wurde, warum sie relevant ist und wie sie behoben werden kann. Dazu müssen vollständige Prompt-/Antwortketten protokolliert, Probleme nach Kategorien wie Absicht oder Systemverhalten eingeordnet und klare Prioritäten für die Behebung festgelegt werden.

Best Practices für KI-Red-Teaming

Sicherheitsteams können sofort Maßnahmen ergreifen, um die Lücken in ihren Red-Teaming-Strategien zu schließen:

• Über Einmal-Prompts hinausgehen: Mehrstufige und kontextsensitive Szenarien einbeziehen.
• Auf spezifische Bedrohungsabsichten testen: Statt allgemeiner Jailbreaks gezielte Angriffsziele untersuchen.
• Ergebnisse nachvollziehbar und umsetzbar machen: Ergebnisse priorisieren, die sich in Sicherheitsverbesserungen umsetzen lassen.
• Wiederholbarkeit und Skalierbarkeit sicherstellen: Red-Team-Tests sollten automatisiert und in Ihre übergreifende DevSecOps-Pipeline integriert werden.

Red-Teaming für KI umfasst nicht nur Penetrationstests und Schwachstellenbewertungen, sondern liefert auch die nötigen Erkenntnisse, um entwickelte Systeme abzusichern. Da KI zunehmend in Unternehmenssysteme integriert wird, müssen sich auch die Sicherheitspraktiken entsprechend weiterentwickeln.

Über den Autor

Jessica BrennanSenior Product Marketing Manager, KI-Sicherheit | F5

Weitere Blogbeiträge von Jessica Brennan