Explicabilité : faire la lumière sur la boîte noire de l’IA

James WhiteDirecteur technique, sécurité de l’IA | F5

Avec l’IA générative, nous comprenons désormais bien comment les réponses sont générées et nous sont restituées. Pour faire simple, l’IA repose sur une architecture de transformeur : elle sélectionne la prédiction la plus pertinente pour le mot et la phrase qui suivent, puis fournit la réponse la plus probable à partir des informations sur lesquelles elle a été entraînée.

Cependant, lorsqu’une application ou un processus utilise l’IA ou des agents d’IA pour accomplir une tâche – par exemple, sélectionner des CV de candidats –, les organisations veulent légitimement savoir pourquoi la décision a été prise et comment elle a été prise. En effet, dans le pire des cas, si le processus est défaillant, le résultat risque de ne plus être utile.

C’est la « boîte noire » dont on entend parler dans le domaine de l’IA, c’est-à-dire le manque de transparence sur la manière dont une application ou un agent a accompli une tâche en fonction des critères qui lui ont été fournis. Avant l’ère de l’IA générative, dès l’apparition des réseaux neuronaux, l’explicabilité était représentée sous forme de graphiques linéaires indiquant quelles parties des informations avaient eu le plus d’influence sur la décision prise.

Tout cela devient bien plus complexe lorsqu’il s’agit de l’IA générative, et plus particulièrement des agents. Un agent simple dispose d’un cerveau, à savoir le modèle d’IA sous-jacent ; d’un objectif, qui correspond à sa ou ses tâches ; et d’outils avec lesquels il peut interagir pour atteindre cet objectif.

Un agent d’IA n’a ni sens moral ni toute une vie d’apprentissage du bien et du mal ; il ne comprend pas les conséquences concrètes de ses actions. Vous ne pouvez pas garantir qu’un agent accomplira une tâche comme vous le souhaitez, surtout si vous voulez favoriser son autonomie.

Par exemple, une organisation peut demander à un agent de supprimer de sa liste de clients le nom d’une entreprise, Random Company LLC. L’agent peut répondre : « C’est fait, Random Company LLC ne figure plus dans notre base de données », alors qu’il a peut-être supprimé tous les noms de clients commençant par « R ». Même s’il a techniquement accompli la tâche, la manière dont il s’y est pris a de graves conséquences.

Empreintes agentiques : explicabilité des agents d’IA

Pour comprendre comment un agent accomplit sa tâche, nous devons pouvoir retracer, a posteriori, chacune de ses réflexions, chacune de ses interactions, ainsi que chacune de ses décisions et actions. Pour garantir la transparence ou l’explicabilité, nous devons être en mesure de décomposer la réponse ou le résultat fourni par le système agentique et de déterminer à quelle catégorie appartient chaque élément.

Lorsque nous disposons de ces informations, nous pouvons voir ce que l’agent a tenté sans succès et ce qu’il a réussi à accomplir. Mais même en cas de réussite, le résultat n’est pas nécessairement approprié, comme dans l’exemple ci-dessus, où l’agent a atteint son objectif, mais de manière préjudiciable.

Pour y parvenir, dans notre produit Inference Red-Team de CalypsoAI, nous avons développé les Agentic Fingerprints, qui offrent une visibilité complète sur chaque décision, prompt et changement de cap d’un agent autonome.

Avec Agentic Fingerprints, la première étape consiste à enregistrer tout ce que fait l’agent. Il est très facile de voir comment un agent utilise les outils. La difficulté consiste à déterminer ce qu’il pense au fil de toutes les itérations avec des modèles de chaîne de pensée autonomes, et comment il finit par parvenir à la réponse qu’il juge correcte.

Agentic Fingerprints analyse toutes ces chaînes de pensée et fournit un historique complet de l’activité de l’agent par ordre chronologique. Nous pouvons voir à quel moment il bifurque vers une action ou formule une nouvelle question.

Cela est représenté sous la forme d’un arbre de décision, un graphe descendant dont les nœuds se ramifient pour retracer toutes les réflexions et décisions qui ont conduit l’agent à son résultat. Le chemin emprunté par l’agent pour mener à bien sa tâche apparaît clairement. Tout le reste constitue, par définition, une piste infructueuse, une impasse dans laquelle l’agent s’est engagé et dont nous pouvons tirer des enseignements.

Pour la première fois, Agentic Fingerprints offre aux organisations une explicabilité leur permettant de comprendre rapidement et facilement ce que les agents de Red Team ont fait et comment ils l’ont fait.

Analyse des résultats : faire progresser l’explicabilité de l’IA

Lorsque nous envisageons d’appliquer l’IA générative ou des workflows agentiques à des situations réelles, si le résultat est un refus d’exécuter une demande, nous devrions pouvoir en comprendre la raison. Depuis trop longtemps, lorsque l’IA générative prend des décisions, nous ne pouvons en voir le résultat que sous la forme d’une réponse positive ou négative.

Chez CalypsoAI, nous étions nous aussi coupables de cela. Nous fournissions aux entreprises des outils d’analyse de sécurité à la pointe du secteur et parmi les meilleurs de leur catégorie, qui bloquaient le trafic malveillant en fonction de la configuration d’un système donné ; le résultat se résumait à un « oui » ou à un « non ».

C’est acceptable aux premiers stades d’une nouvelle technologie. Mais à mesure que l’IA est de plus en plus utilisée en production, dans des situations réelles, il est essentiel de ne pas se contenter de dire : « L’ordinateur dit non ». Nos clients, ainsi que leurs propres clients, méritent une réponse complète.

Peut-être est-ce « non » pour des raisons juridiques ; peut-être est-ce « non » parce que l’utilisateur n’est pas autorisé à accéder à un élément particulier dans le cadre de son offre de services. Quelle qu’en soit la raison, il doit comprendre pourquoi. On ne peut pas se contenter de lui dire « non ».

Dans le produit Inference Defend de CalypsoAI, Outcome Analysis explique désormais pourquoi un élément a été bloqué par les contrôles de sécurité mis en place dans le cadre d’un système d’IA d’entreprise. Nous fournissons une explication facile à comprendre, fondée sur le contenu transmis, et indiquons la partie précise qui a déclenché une règle donnée.

Les systèmes d’IA sont des boîtes noires opaques, mais Outcome Analysis en soulève le couvercle pour faire toute la lumière sur leur fonctionnement. Les entreprises peuvent désormais comprendre avec certitude pourquoi nos outils d’analyse Inference Defend bloquent certains contenus ou certaines données, dans quelles circonstances et pour quelle raison.

Nos clients accompagnent leurs propres clients — qui ne manqueront pas de leur poser des questions — c’est pourquoi nous leur donnons désormais les moyens de répondre eux-mêmes aux questions de leurs clients.

Pourquoi l’explicabilité de l’IA est essentielle à son adoption par les entreprises

Notre responsabilité en matière de sécurité n’est pas de faire dans l’extravagance : la sécurité doit rester en arrière-plan pour veiller à ce que tout soit sûr, et non jongler sur le devant de la scène. Ainsi, lorsque CalypsoAI lance de nouvelles fonctionnalités, celles-ci répondent aux besoins des jongleurs sous les projecteurs : les développeurs de modèles et les organisations dont les initiatives en matière d’IA font la une des médias.

La transparence et l’explicabilité ne seront jamais le numéro de jonglage sur le devant de la scène, mais elles sont essentielles, et nous irions même jusqu’à dire qu’elles sont attendues. Les fonctionnalités d’explicabilité de CalypsoAI semblent être des éléments qui devraient exister pour permettre aux entreprises d’adopter l’IA en toute confiance, et plus particulièrement les agents.

Si les entreprises peuvent comprendre comment et pourquoi un agent a pris ses décisions, elles peuvent rapidement mettre en œuvre des mesures correctives éclairées en cas de problème. C’est un élément essentiel pour les workflows agentiques.

Grâce aux fonctionnalités de transparence de CalypsoAI, nous pouvons montrer que les agents accomplissent un véritable travail, expliquer comment ils s’y prennent et pourquoi ils prennent leurs décisions. C’est concret, et c’est la première fois que les organisations peuvent comprendre visuellement un phénomène qui se déroule à la vitesse d’une machine dans un monde virtuel.

Regardez l’intégralité de la conversation

Dans cette vidéo, James approfondit ce sujet avec Gavin Daly, responsable de la communication chez CalypsoAI.

À propos de l’auteur

James WhiteDirecteur technique, sécurité de l’IA | F5

James White est un ingénieur accompli et un dirigeant d’entreprise qui possède près de vingt ans d’expérience dans le secteur des logiciels d’entreprise.

Autres articles de James White