Explicabilidad: arrojando luz sobre la caja negra de la IA

James WhiteDirector de Tecnología, Seguridad de la IA | F5

Con la IA generativa, ahora entendemos bien cómo se generan las respuestas y se nos devuelven. En pocas palabras, la IA es una arquitectura de transformadores: elige la mejor predicción para la siguiente palabra y frase, y devuelve la respuesta más probable basándose en la información con la que ha sido entrenada.

Sin embargo, cuando una aplicación o un proceso utiliza la IA o agentes de IA para llevar a cabo una tarea —por ejemplo, seleccionar currículums de candidatos—, es lógico que las organizaciones quieran saber por qué se tomó la decisión y cómo se llegó a ella. Esto se debe a que, en el peor de los casos, si el cómo no es adecuado, el resultado puede dejar de ser útil.

Esta es la «caja negra» de la que oímos hablar en el ámbito de la IA, es decir, la falta de claridad sobre cómo una aplicación o un agente ha completado una tarea basándose en los criterios proporcionados. En el periodo anterior a la IA generativa, que se remonta a las redes neuronales, la explicabilidad se representaba mediante gráficos de líneas que mostraban qué partes de la información habían influido más en la decisión tomada.

Todo esto se vuelve mucho más complejo cuando se trata de la IA generativa y, en particular, de los agentes. Un agente sencillo tendrá un cerebro, que es el modelo de IA subyacente; tendrá un propósito, que es la tarea o tareas que debe realizar; y dispondrá de herramientas con las que podrá interactuar para cumplir su propósito.

Un agente de IA no tiene una brújula moral ni toda una vida de aprendizaje sobre lo que está bien y lo que está mal; tampoco comprende las consecuencias de sus acciones en el mundo real. No se puede garantizar que un agente haga algo como uno quiere, especialmente si se desea fomentar su autonomía.

Por ejemplo, una organización podría encargar a un agente que eliminase de su lista de clientes el nombre de una empresa, Random Company LLC. El agente podría responder: «Hecho, Random Company LLC ya no figura en nuestra base de datos», pero quizá lo haya conseguido eliminando todos los nombres de clientes que empiezan por «R». Aunque técnicamente haya cumplido la tarea, la forma en que lo ha hecho tiene graves consecuencias.

Huellas agénticas: explicabilidad para agentes de IA

Para entender cómo lleva a cabo su tarea un agente, necesitamos conocer —a posteriori— cada pensamiento que tuvo, cada interacción que mantuvo y cada decisión y acción que tomó. Para ofrecer transparencia o explicabilidad, debemos poder desglosar la respuesta o el resultado proporcionado por el sistema agéntico y ver qué partes corresponden a cada categoría.

Cuando conocemos esa información, podemos ver qué intentos del agente no tuvieron éxito y cuáles sí. Sin embargo, aunque hayan tenido éxito, puede que no sean correctos, como en el ejemplo anterior, en el que el agente logró su objetivo, pero de una forma negativa.

Para lograrlo, en el producto Inference Red-Team de CalypsoAI, hemos desarrollado Agentic Fingerprints, que ofrece una visibilidad completa de cada decisión, instrucción y cambio de rumbo de un agente autónomo.

Con Agentic Fingerprints, el primer paso consiste en registrar todo lo que hace el agente. Podemos ver con mucha facilidad cómo utiliza las herramientas; el reto está en identificar qué está pensando a lo largo de todas las iteraciones con modelos autodirigidos de cadena de pensamiento y cómo llega finalmente a la respuesta que considera correcta.

Agentic Fingerprints analiza todas esas cadenas de pensamiento y proporciona un registro completo de la actividad del agente en orden cronológico. Podemos ver cuándo se desvía para realizar una acción o cuándo se bifurca en una nueva pregunta.

Esto se representa en forma de árbol de decisiones: un gráfico descendente de nodos que se ramifican y recoge todos los razonamientos y decisiones que llevaron al agente hasta el resultado. Se ve claramente qué camino siguió el agente para completar correctamente su tarea. Todo lo demás es, por definición, una vía infructuosa, un callejón sin salida por el que se adentró el agente y del que podemos extraer aprendizajes.

Por primera vez, Agentic Fingerprints ofrece a las organizaciones explicabilidad, permitiéndoles comprender de forma rápida y sencilla qué hicieron los agentes de Red Team y cómo lo hicieron.

Análisis de resultados: avances en la explicabilidad de la IA

Cuando pensamos en aplicar la IA generativa o los flujos de trabajo basados en agentes a situaciones reales, si el resultado es la negativa a completar una solicitud, deberíamos poder saber por qué. Durante demasiado tiempo, cuando la IA generativa toma decisiones, solo hemos podido ver el resultado como meramente positivo o negativo.

En CalypsoAI también éramos culpables de ello. Proporcionábamos a las empresas escáneres de seguridad líderes del sector y de primer nivel que bloqueaban el tráfico malicioso en función de la configuración de cada sistema; el resultado era un «sí» o un «no».

Eso está bien en las primeras etapas de una nueva tecnología. Pero, a medida que la IA se utiliza cada vez más en entornos de producción y situaciones reales, es fundamental que no nos limitemos a decir: «El ordenador dice que no». Nuestros clientes, y los clientes de estos, merecen una respuesta completa.

Quizá sea un «no» por motivos legales; quizá sea un «no» porque el usuario no tiene permiso para acceder a un elemento concreto de su plan de servicio. Sea cual sea el motivo, necesita entender por qué. No puede ser simplemente un «no».

En el producto Inference Defend de CalypsoAI, Outcome Analysis ahora explica por qué se ha bloqueado algo mediante los controles de análisis de seguridad implementados como parte de un sistema de IA empresarial. Mostramos una explicación fácil de entender basada en el contenido proporcionado y en la parte concreta que activó una regla determinada.

Los sistemas de IA son una caja negra opaca, pero Outcome Analysis levanta esa tapa y deja entrar la luz. Ahora, las empresas pueden saber con certeza por qué nuestros escáneres de Inference Defend bloquean determinados contenidos o datos, cuáles eran las circunstancias en ese momento y cuál fue el motivo del bloqueo.

Nuestros clientes prestan servicio a sus propios clientes —y estos les van a plantear preguntas—, por lo que ahora les ofrecemos la capacidad de responder por sí mismos a las preguntas que reciben de sus clientes.

Por qué la explicabilidad de la IA es importante para su adopción en las empresas

Nuestra responsabilidad en materia de seguridad no consiste en hacer alardes; la seguridad debe permanecer en segundo plano, manteniéndolo todo a salvo, y no en primer plano haciendo malabarismos. Por eso, cuando CalypsoAI lanza funcionalidades, estas son las necesarias para facilitar la labor de quienes hacen malabarismos en el escenario: los desarrolladores de modelos y las organizaciones que hacen con la IA cosas que acaparan los titulares.

La transparencia y la explicabilidad nunca serán el número de malabares que acapare la atención, pero son fundamentales e incluso, nos atreveríamos a decir, imprescindibles. Las funciones de explicabilidad de CalypsoAI parecen algo que debería existir para que las empresas puedan adoptar con confianza la IA y, en particular, los agentes.

Si las empresas pueden entender cómo y por qué un agente tomó sus decisiones, podrán adoptar rápidamente medidas correctivas fundamentadas si algo sale mal. Esto es fundamental para los flujos de trabajo basados en agentes.

Gracias a las funciones de transparencia de CalypsoAI, podemos demostrar que los agentes realizan un trabajo real, cómo lo hacen y por qué toman sus decisiones. Es algo tangible y, por primera vez, las organizaciones pueden comprender visualmente algo que sucede a la velocidad de las máquinas en un mundo virtual.

Vea la conversación completa

En este vídeo, James profundiza en este tema con Gavin Daly, responsable de Comunicación de CalypsoAI.

Sobre el autor

James WhiteDirector de Tecnología, Seguridad de la IA | F5

James White es un ingeniero y líder empresarial de reconocido prestigio, con casi dos décadas de experiencia en el sector del software empresarial.

Más artículos de James White