Recursos de aprendizagem sobre governança e gestão de IA

A governança de modelos de IA se concentra em reduzir os riscos associados às respostas dos modelos, como imprecisões, alucinações, vieses, conteúdo inadequado e vazamentos de dados. Já a governança de agentes de IA se concentra em gerenciar ações potencialmente prejudiciais dos agentes, como chamadas de sistema não autorizadas, loops descontrolados e dispendiosos e escalonamento de privilégios. A governança de agentes exige atribuir identidades não humanas exclusivas aos agentes, aplicar continuamente controles em tempo de execução e manter a supervisão humana em decisões ou ações importantes.

A Lei de IA da UE define quatro níveis de risco para sistemas de IA: risco inaceitável, alto risco, risco de transparência e risco mínimo ou inexistente. Determinadas práticas de IA de risco inaceitável são proibidas, enquanto os usos de risco mínimo ou inexistente geralmente não estão sujeitos a regras adicionais previstas na Lei. A Estrutura de Gerenciamento de Riscos de IA (RMF) do Instituto Nacional de Padrões e Tecnologia dos EUA (NIST) é uma estrutura voluntária organizada em torno de quatro funções: Governar, Mapear, Medir e Gerenciar. A Lei de IA da UE visa garantir uma IA segura, centrada no ser humano e confiável, ao mesmo tempo que protege direitos e apoia a inovação. A RMF de IA do NIST concentra-se mais especificamente em aumentar a confiabilidade dos sistemas de IA.

A responsabilização e a responsabilidade legal são preocupações centrais relacionadas à IA agêntica. As organizações devem definir a responsabilização pelos agentes de IA como parte de seu programa de governança. Em caso de erros graves ou perdas financeiras, a responsabilidade legal dependerá do arcabouço jurídico aplicável, dos acordos contratuais e das funções das organizações envolvidas. Dependendo das circunstâncias, a responsabilidade poderá recair sobre a organização que implementa o agente, o fornecedor ou desenvolvedor, ou outras partes.

A atribuição de identidades não humanas (NHIs) a agentes reforça a segurança, permitindo que as organizações restrinjam as ações dos agentes por meio de políticas de acesso granulares e de privilégio mínimo. O gerenciamento eficaz de NHIs ajuda a limitar a proliferação de agentes. Ao permitir que apenas identidades verificadas executem chamadas de sistema, por exemplo, as organizações reduzem o número de agentes ocultos (que não conseguiriam executar chamadas). As organizações também podem usar tokens de identidade de curta duração para reduzir os riscos de segurança associados a agentes órfãos ou inativos.

Enxames de agentes de IA ocorrem quando vários agentes colaboram de forma autônoma, compartilhando contexto ou acionando ferramentas externas para concluir tarefas de várias etapas. Ferramentas e frameworks de código aberto podem ajudar a lidar com esses enxames. Por exemplo, ao usar o framework OpenTelemetry (OTel) com ferramentas como Jaeger ou Grafana Tempo, as organizações podem monitorar e auditar enxames de agentes de IA. O OTel captura dados de telemetria dos agentes, enquanto o Jaeger ou o Tempo gera um mapa visual para facilitar a auditoria.

A criação de um comitê de governança de IA empresarial deve começar pela formação de uma equipe multifuncional de líderes seniores, com integrantes das áreas de engenharia, cibersegurança, jurídica, financeira e de produtos. Depois de definir as responsabilidades, a equipe deve elaborar políticas e colocá-las em prática em toda a empresa, possivelmente por meio de um centro de excelência (CoE). Com uma equipe composta por profissionais técnicos e de gestão de riscos, o CoE pode desenvolver processos padronizados para identificar, avaliar e classificar sistemas de IA; simplificar processos de desenvolvimento em conformidade com as políticas; implementar controles de identidade; e adotar mecanismos de rastreamento e testes.