Um triunvirato consciente de aplicações para governança autônoma de IA
Inovação é uma coisa. Governança é outra. Dados preocupantes de pesquisas mostram que a adoção da IA generativa pelas empresas avança a todo vapor, mesmo com falhas na governança que deveriam fazer você refletir.
Segundo a Pesquisa sobre Agentes de IA da PWC de maio de 2025, 79% das empresas já adotaram IA, e apenas 2% nem sequer consideram usar IA agente. Se esses agentes apresentam de fato características autônomas — como a capacidade de criar planos de trabalho, executar ações em várias etapas, avaliar resultados e se ajustar sozinhos — ou se são chatbots que redirecionam pedidos pontuais a um modelo de linguagem grande (LLM) selecionado, a adoção está muito alta, e quase todas essas empresas planejam aumentar investimentos em IA no próximo ano.
Compare com nossa própria pesquisa — que utiliza um Índice de Prontidão em IA para medir a capacidade operacional de ampliar, proteger e manter sistemas de IA com sucesso — apenas 2% das organizações estão realmente preparadas para enfrentar os desafios do design, implantação e operação desses sistemas.
Ainda assim, as equipes de TI e de segurança não têm escolha, segundo pesquisa da EY, que revela que a maioria dos líderes empresariais acredita ser essencial adotar IA autônoma ainda este ano para superar concorrentes até o próximo ano. Organizações que desacelerarem para fechar cuidadosamente as lacunas de segurança e governança estarão mais avançadas e terão um negócio menos vulnerável em 2026 do que aquelas que ignorarem esses pontos. Três práticas a seguir formam um trio essencial para reduzir os riscos ao investir em IA generativa e autônoma:
1. Proteja os seus modelos
O que é novo precisa ser protegido, e toda forma de IA generativa tem um ou mais LLMs em seu núcleo. Confiar nos criadores dos modelos para aprimorar constantemente a precisão, reduzir alucinações e impedir burlas não é suficiente. Você deve investir em serviços de prompts e modelos capazes de detectar comportamentos indesejados de forma independente e impedir sua ocorrência. Além disso, como toda empresa que utiliza um LLM, de fato, usa mais de um, obfuscar as aplicações na chamada da API de inferência é essencial para garantir disponibilidade, roteamento, escalabilidade e controle de custos dessas aplicações.
2. Proteja seus dados
Os dados empresariais expostos aos modelos podem ou não ser dados novos para o negócio. O importante é garantir a segurança deles, e não basta proteger os dados apenas onde estão armazenados ou criptografá-los enquanto trafegam pela rede. Os dados que existem no ambiente empresarial privado, de qualquer modo ou formato, mesmo que sejam usados por um serviço aprovado de terceiros ou por uma entidade externa, também precisam ser identificados e protegidos. Não me entenda mal. A procedência não é o foco. O foco é a saída.
3. Proteja seus agentes
Agentes mudam o jogo ao usar LLMs para decidir quais ações tomar para alcançar um objetivo final definido por eles mesmos. Para agir, eles precisam de permissão para executar tarefas, acessar recursos, criar, modificar e excluir informações. Você deve monitorá-los e controlá-los por meio de algo externo ao agente, mas próximo o bastante para observar e avaliar com eficácia. Duas abordagens principais merecem atenção constante enquanto se desenvolvem nos próximos meses: estruturas de proteção (como MCP-Universe) e estruturas de LLM como juiz (como Microsoft LLM-as-a-Judge Framework).
O primeiro estabelece a verdade fundamental usando operações específicas baseadas em tarefas para comparar os resultados de ações iniciadas por agentes com ações separadas pré-carregadas por software direcionado de forma explícita. Sua força está no conjunto crescente de códigos exemplos para verificar diversos dados, como clima ou fatos históricos, utilizando fontes pré-selecionadas e confiáveis. Ele coleta essas informações e as utiliza como verdade fundamental na comparação com os resultados produzidos pelo agente implementado.
O último utiliza um LLM diferente, até vários LLMs, para analisar o comportamento de um agente implantado e avaliar a qualidade e a adequação dos resultados conforme definido pela empresa. Ambos apresentam potencial, evoluem rapidamente e permanecem sob o controle da empresa. Ainda melhor, você pode reforçá-los com controles humanos participativos, quando precisar.
Esse conjunto de controles sobre modelos, dados e agentes elimina as falhas em segurança cibernética e governança, que poderiam expor sua empresa a novos tipos de risco relacionados à IA generativa e a sistemas autônomos.
Para saber mais sobre a aplicação desses controles como serviços independentes de infraestrutura, leia o anúncio recente da F5 sobre o CalypsoAI, pioneiro em soluções de defesa, red team e governança para apps e agentes de IA.