Explicabilidade: lançando luz sobre a caixa-preta da IA

James WhiteDiretor de Tecnologia (CTO), Segurança de IA | F5

Com a IA generativa, agora entendemos bem como as respostas são geradas e fornecidas a nós. Em termos simples, a IA é uma arquitetura de transformadores — ela escolhe a melhor previsão para a próxima palavra e frase e fornece a resposta mais provável com base nas informações usadas em seu treinamento.

No entanto, quando um aplicativo ou processo usa IA ou agentes de IA para realizar uma tarefa — como selecionar currículos de candidatos, por exemplo —, as organizações querem, com razão, saber por que a decisão foi tomada e como se chegou a ela. Isso porque, na pior das hipóteses, se o processo for inadequado, o resultado poderá deixar de ser útil.

Essa é a ‘caixa-preta’ de que ouvimos falar em IA: a falta de clareza sobre como uma aplicação ou um agente concluiu uma tarefa com base nos critérios fornecidos. No período anterior à IA generativa, desde a época das redes neurais, a explicabilidade era representada em gráficos de linhas, que mostravam quais partes das informações tiveram maior impacto na decisão tomada.

Tudo isso se torna muito mais complexo quando se trata de IA generativa e, em particular, de agentes. Um agente simples terá um cérebro, que é o modelo de IA subjacente; terá um propósito, que corresponde à sua tarefa ou às suas tarefas; e terá as ferramentas com as quais poderá interagir para cumprir esse propósito.

Um agente de IA não tem uma bússola moral nem passou a vida aprendendo a distinguir o certo do errado; ele não compreende as consequências de suas ações no mundo real. Não é possível garantir que um agente fará algo da maneira que você deseja, especialmente se quiser promover a autonomia.

Por exemplo, uma organização pode encarregar um agente de excluir o nome de uma empresa, Random Company LLC, de sua lista de clientes. O agente pode responder: “Pronto, a Random Company LLC não está mais em nosso banco de dados”, mas talvez tenha feito isso excluindo todos os nomes de clientes que começam com “R”. Embora tecnicamente tenha cumprido a tarefa, a forma como fez isso traz consequências graves.

Impressões digitais agênticas: explicabilidade para agentes de IA

Para entender como um agente executa sua tarefa, precisamos compreender — após o ocorrido — cada pensamento que ele teve, cada interação que realizou e cada decisão e ação que tomou. Para proporcionar transparência ou explicabilidade, precisamos ser capazes de decompor a resposta ou o resultado fornecido pelo sistema agêntico e identificar quais partes se enquadram em cada categoria.

Quando temos essas informações, conseguimos visualizar as tentativas do agente que não deram certo e aquelas que foram bem-sucedidas. Mesmo quando são bem-sucedidas, elas podem não ser corretas, como no exemplo acima, em que o agente atingiu seu objetivo, mas de forma negativa.

Para isso, no produto Inference Red-Team da CalypsoAI, desenvolvemos o recurso Agentic Fingerprints, que oferece visibilidade completa de cada decisão, prompt e mudança de rumo de um agente autônomo.

Com o Agentic Fingerprints, o primeiro passo é registrar tudo o que o agente faz. Podemos ver com muita facilidade como um agente utiliza as ferramentas — o desafio é identificar o que ele está pensando ao longo de todas as iterações com modelos autodirigidos de cadeia de pensamento e como ele finalmente chega à resposta que considera correta.

O Agentic Fingerprints analisa todas essas cadeias de pensamento e fornece um registro completo da atividade do agente em ordem cronológica. Podemos ver quando ele se desdobra em uma ação ou se ramifica em uma nova pergunta.

Isso é representado no formato de uma árvore de decisão: um grafo de nós que se ramifica de cima para baixo, reunindo todos os pensamentos e decisões que levaram o agente ao resultado. Fica claro qual caminho o agente percorreu para concluir sua tarefa com sucesso. Todo o restante, por definição, corresponde a caminhos malsucedidos, becos sem saída pelos quais o agente enveredou e dos quais podemos extrair aprendizados.

Pela primeira vez, o Agentic Fingerprints oferece às organizações explicabilidade, permitindo entender de forma rápida e fácil o que os agentes de Red Team fizeram e como fizeram.

Análise de resultados: promovendo a explicabilidade da IA

Quando pensamos em aplicar a IA generativa ou fluxos de trabalho agênticos a situações reais, se o resultado for uma recusa em atender a uma solicitação, devemos conseguir entender o motivo. Há muito tempo, quando a IA generativa toma decisões, só conseguimos ver o resultado como simplesmente positivo ou negativo.

Nós, da CalypsoAI, também cometíamos esse erro. Fornecíamos às empresas scanners de segurança líderes do setor e de excelência, que bloqueavam tráfego malicioso com base na configuração de um determinado sistema; o resultado era um “sim” ou um “não”.

Isso é aceitável nos estágios iniciais de uma nova tecnologia. Mas, à medida que a IA é cada vez mais usada em produção, em cenários reais, é fundamental não nos limitarmos a dizer: “O computador disse não”. Nossos clientes, e os clientes deles, merecem uma resposta completa.

Talvez seja um “não” por motivos legais; talvez seja um “não” porque o usuário não tem permissão para acessar determinado item em seu plano de serviço. Seja qual for o motivo, ele precisa entender o porquê. Não pode ser apenas um “não”.

No produto Inference Defend da CalypsoAI, o recurso Outcome Analysis agora explica por que algo foi bloqueado pelos controles de verificação de segurança implementados como parte de um sistema corporativo de IA. Apresentamos uma explicação fácil de entender com base no conteúdo fornecido e no trecho específico que acionou determinada regra.

Os sistemas de IA são uma caixa-preta impenetrável, mas o Outcome Analysis abre essa tampa opaca e deixa a luz entrar. Agora, as empresas podem entender com segurança por que nossos mecanismos de verificação do Inference Defend bloqueiam determinados conteúdos ou dados, quais eram as circunstâncias naquele momento e o motivo do bloqueio.

Nossos clientes atendem seus próprios clientes — e receberão perguntas —, por isso agora oferecemos a eles a capacidade de responder por conta própria às perguntas que recebem de seus clientes.

Por que a explicabilidade da IA é importante para a adoção empresarial

Nossa responsabilidade na área de segurança não é chamar a atenção; a segurança deve atuar nos bastidores, mantendo tudo protegido, e não no centro do palco, fazendo malabarismos. Por isso, quando a CalypsoAI lança funcionalidades, elas são necessárias para dar suporte aos malabaristas que estão à frente do palco: os desenvolvedores de modelos e as organizações que fazem coisas com IA que ganham as manchetes.

Transparência e explicabilidade nunca serão o número de malabarismo no centro do palco, mas são vitais e, diríamos até, esperadas. Os recursos de explicabilidade da CalypsoAI parecem ser coisas que deveriam existir para que as empresas adotem a IA com confiança, especialmente os agentes.

Se as empresas conseguirem entender como e por que um agente tomou suas decisões, poderão adotar rapidamente medidas corretivas bem fundamentadas caso algo dê errado. Isso é fundamental para fluxos de trabalho agênticos.

Com os recursos de transparência da CalypsoAI, podemos mostrar que os agentes estão realizando um trabalho de verdade, como fazem isso e por que tomam suas decisões. É algo tangível, e esta é a primeira vez que as organizações conseguem compreender visualmente algo que acontece à velocidade das máquinas em um mundo virtual.

Assista à conversa completa

Neste vídeo, James se aprofunda nesse tema com Gavin Daly, líder de Comunicação da CalypsoAI.

Sobre o autor

James WhiteDiretor de Tecnologia (CTO), Segurança de IA | F5

James White é um engenheiro e líder empresarial de destaque, com quase duas décadas de experiência no setor de software empresarial.

Mais publicações de James White