Erklärbarkeit: Licht ins Dunkel der KI-Blackbox bringen

James WhiteCTO, KI-Sicherheit | F5

Mit generativer KI verstehen wir heute gut, wie Antworten erzeugt und an uns zurückgegeben werden. Vereinfacht gesagt basiert KI auf einer Transformer-Architektur: Sie wählt die beste Vorhersage für das nächste Wort und den nächsten Satz aus und liefert auf Grundlage der Informationen, mit denen sie trainiert wurde, die wahrscheinlichste Antwort.

Wenn jedoch eine Anwendung oder ein Prozess KI oder KI-Agenten einsetzt, um eine Aufgabe auszuführen – beispielsweise die Auswahl von Bewerbungsunterlagen –, möchten Unternehmen zu Recht wissen, warum die Entscheidung getroffen wurde und wie sie zustande kam. Denn im schlimmsten Fall kann das Ergebnis unbrauchbar sein, wenn das Wie mangelhaft ist.

Das ist die sogenannte „Blackbox“ der KI: Es ist nicht nachvollziehbar, wie eine Anwendung oder ein Agent eine Aufgabe anhand der vorgegebenen Kriterien ausgeführt hat. In der Zeit vor generativer KI, die bis zu neuronalen Netzen zurückreicht, wurde Erklärbarkeit anhand von Liniendiagrammen dargestellt, die zeigten, welche Teile der Informationen den größten Einfluss auf die getroffene Entscheidung hatten.

All dies wird deutlich komplexer, wenn es um generative KI und insbesondere um Agenten geht. Ein einfacher Agent verfügt über ein Gehirn, also das zugrunde liegende KI-Modell; er hat einen Zweck, also eine oder mehrere Aufgaben; und ihm stehen Werkzeuge zur Verfügung, mit denen er interagieren kann, um seinen Zweck zu erfüllen.

Ein KI-Agent verfügt weder über einen moralischen Kompass noch über die Lebenserfahrung, durch die er gelernt hätte, zwischen richtig und falsch zu unterscheiden; ihm fehlt das Verständnis für die realen Folgen seines Handelns. Sie können nicht garantieren, dass ein Agent etwas genau so tut, wie Sie es möchten – insbesondere dann nicht, wenn Sie seine Autonomie fördern wollen.

Beispielsweise könnte eine Organisation einen Agenten damit beauftragen, den Firmennamen Random Company LLC aus ihrer Kundenliste zu löschen. Der Agent könnte antworten: „Erledigt, Random Company LLC befindet sich nicht mehr in unserer Datenbank.“ Möglicherweise hat er dies jedoch erreicht, indem er alle Kundennamen gelöscht hat, die mit „R“ beginnen. Technisch gesehen hat er die Aufgabe zwar erfüllt, doch die Art und Weise hat schwerwiegende Folgen.

Agentische Fingerabdrücke: Erklärbarkeit für KI-Agenten

Um zu verstehen, wie ein Agent seine Aufgabe ausführt, müssen wir im Nachhinein jeden Gedanken des Agenten, jede seiner Interaktionen sowie jede seiner Entscheidungen und Handlungen nachvollziehen können. Um Transparenz oder Erklärbarkeit zu gewährleisten, müssen wir die Antwort oder das Ergebnis des agentenbasierten Systems in einzelne Bestandteile zerlegen und erkennen können, welche davon in welche Kategorie fallen.

Wenn uns diese Informationen vorliegen, können wir nachvollziehen, welche Versuche des Agenten erfolglos und welche erfolgreich waren. Doch selbst erfolgreiche Versuche sind nicht unbedingt richtig – wie im obigen Beispiel, in dem der Agent sein Ziel zwar erreichte, jedoch auf negative Weise.

Um dies zu erreichen, haben wir in CalypsoAIs Produkt „Inference Red-Team“ die „Agentic Fingerprints“ entwickelt, die umfassende Einblicke in jede Entscheidung, jeden Prompt und jede Kursänderung eines autonomen Agenten bieten.

Bei Agentic Fingerprints besteht der erste Schritt darin, alles aufzuzeichnen, was der Agent tut. Bei einem Agenten können wir sehr leicht erkennen, was er mit Tools macht – die Herausforderung besteht darin, nachzuvollziehen, was der Agent während all der Iterationen mit selbstgesteuerten Chain-of-Thought-Modellen denkt und wie er letztlich zu der Lösung gelangt, die er für richtig hält.

Agentic Fingerprints analysiert all diese Gedankengänge und liefert eine vollständige chronologische Aufzeichnung der Aktivitäten des Agenten. So können wir erkennen, an welcher Stelle daraus eine Aktion hervorgeht oder sich eine neue Fragestellung entwickelt.

Dies wird in Form eines Entscheidungsbaums dargestellt: als ein von oben nach unten verzweigter Knotengraph, der alle Gedanken und Entscheidungen abbildet, die den Agenten zu seinem Ergebnis geführt haben. Es ist klar ersichtlich, welchen Weg der Agent eingeschlagen hat, um seine Aufgabe erfolgreich abzuschließen. Alles andere ist per Definition ein erfolgloser Ansatz, eine Sackgasse, in die der Agent geraten ist und aus der wir Erkenntnisse gewinnen können.

Mit Agentic Fingerprints erhalten Unternehmen erstmals Transparenz und können schnell und einfach nachvollziehen, was die Red-Team-Agenten getan haben und wie sie dabei vorgegangen sind.

Ergebnisanalyse: Fortschritte bei der Erklärbarkeit von KI

Wenn wir darüber nachdenken, generative KI oder agentenbasierte Workflows in der Praxis einzusetzen, sollten wir nachvollziehen können, warum eine Anfrage abgelehnt wird. Viel zu lange konnten wir bei Entscheidungen generativer KI lediglich erkennen, ob das Ergebnis positiv oder negativ ausfiel.

Auch wir bei CalypsoAI haben uns dessen schuldig gemacht. Wir stellten Unternehmen branchenführende, erstklassige Sicherheitsscanner bereit, die schädlichen Datenverkehr auf Grundlage der Konfiguration des jeweiligen Systems blockieren; das Ergebnis war entweder ein „Ja“ oder ein „Nein“.

In der Anfangsphase einer neuen Technologie ist das in Ordnung. Doch da KI zunehmend in der Produktion und in realen Anwendungsszenarien eingesetzt wird, dürfen wir uns keinesfalls mit einem bloßen „Der Computer sagt Nein“ begnügen. Unsere Kunden und deren Kunden verdienen eine umfassende Antwort.

Vielleicht lautet die Antwort aus rechtlichen Gründen „Nein“; vielleicht lautet sie „Nein“, weil der Nutzer im Rahmen seines Tarifs nicht berechtigt ist, auf ein bestimmtes Element zuzugreifen. Was auch immer der Grund ist: Die Nutzer müssen verstehen, warum. Ein einfaches „Nein“ reicht nicht aus.

Im Produkt Inference Defend von CalypsoAI beantwortet Outcome Analysis jetzt die Frage, warum etwas durch die Sicherheitsprüfungen blockiert wurde, die im Rahmen eines KI-Systems für Unternehmen eingerichtet wurden. Wir liefern eine leicht verständliche Erklärung auf Grundlage der bereitgestellten Inhalte und zeigen den konkreten Teil auf, der eine bestimmte Regel ausgelöst hat.

KI-Systeme sind eine undurchsichtige Blackbox, doch Outcome Analysis öffnet den Deckel und bringt Licht ins Dunkel. Unternehmen können nun nachvollziehen, warum unsere Inference Defend-Scanner bestimmte Inhalte oder Daten blockieren, welche Umstände zu diesem Zeitpunkt vorlagen und aus welchem Grund die Blockierung erfolgte.

Unsere Kunden betreuen ihre eigenen Kunden – und werden von ihnen Fragen gestellt bekommen. Deshalb bieten wir ihnen jetzt die Möglichkeit, die Fragen ihrer Kunden selbstständig zu beantworten.

Warum die Erklärbarkeit von KI für die Einführung in Unternehmen entscheidend ist

Unsere Verantwortung im Bereich Sicherheit besteht nicht darin, uns in den Vordergrund zu drängen. Sicherheit sollte im Hintergrund für Schutz sorgen, statt vorne auf der Bühne zu jonglieren. Wenn CalypsoAI also Funktionen veröffentlicht, dann sind es solche, die notwendig sind, um die Jongleure im Rampenlicht zu unterstützen: die Modellentwickler und Organisationen, die mit KI für Schlagzeilen sorgen.

Transparenz und Erklärbarkeit werden nie die Jongliernummer im Rampenlicht sein, doch sie sind unverzichtbar und unserer Ansicht nach sogar eine Selbstverständlichkeit. Die Erklärbarkeitsfunktionen von CalypsoAI wirken wie etwas, das vorhanden sein sollte, damit Unternehmen KI und insbesondere Agenten mit gutem Gewissen einsetzen können.

Wenn Unternehmen nachvollziehen können, wie und warum ein Agent seine Entscheidungen getroffen hat, können sie im Falle eines Fehlers schnell fundierte Abhilfemaßnahmen ergreifen. Das ist für agentenbasierte Workflows von entscheidender Bedeutung.

Mit den Transparenzfunktionen von CalypsoAI können wir zeigen, dass Agenten echte Arbeit leisten, wie sie dabei vorgehen und warum sie ihre Entscheidungen treffen. Dadurch wird es greifbar, und Unternehmen können erstmals visuell nachvollziehen, was in einer virtuellen Welt mit Maschinengeschwindigkeit geschieht.

Sehen Sie sich das vollständige Gespräch an

In diesem Video vertieft James das Thema gemeinsam mit Gavin Daly, Communications Lead bei CalypsoAI.

Über den Autor

James WhiteCTO, KI-Sicherheit | F5

James White ist ein erfolgreicher Ingenieur und Unternehmensleiter mit fast zwei Jahrzehnten Erfahrung in der Unternehmenssoftwarebranche.

Weitere Blogbeiträge von James White