A mais recente Pesquisa Pulse sobre IA da EY indica que 87% dos líderes seniores apontam obstáculos à adoção, que vão desde questões de cibersegurança e dados até a ausência de políticas e governança. Integrar a inteligência artificial generativa (GenAI) aos negócios exige tanto o desejo quanto a capacidade de concretizar essa iniciativa. A lacuna entre esses dois fatores é marcada pela complexidade operacional e pela necessidade de confiança nessa nova tecnologia.
As empresas desenvolvem e implantam software há décadas, mas a IA generativa apresenta um novo desafio: o controle. Ao contrário do software tradicional, as aplicações de IA generativa operam com autonomia e não são determinísticas. Portanto, não se pode confiar que elas façam apenas o que foi planejado e nunca façam algo imprevisto — pelo menos, ainda não. A falta de controle limita a adoção em larga escala. Esse desafio pode ser mais bem compreendido ao examinarmos o poder do contexto, e é a partir dessa compreensão que as empresas podem ampliar os princípios tradicionais de design de software para adaptá-los à IA generativa.
Com contexto suficiente, a incerteza das aplicações de IA generativa torna-se gerenciável, pois o contexto preenche a lacuna entre o que essas aplicações podem fazer e o que a empresa pretende. O contexto pode ser obtido de três domínios: a aplicação de IA generativa, o ambiente e a empresa.
Comparação do contexto da aplicação
O contexto disponível em aplicações de IA generativa difere significativamente daquele encontrado em aplicações tradicionais. As aplicações tradicionais determinam previamente as entradas permitidas como parâmetros para operações predefinidas. As mesmas entradas sempre produzirão os mesmos resultados. Em contrapartida, as aplicações de IA generativa aceitam uma variedade muito maior de entradas em modelos de linguagem de grande escala (LLMs), que, por definição, geram resultados não determinísticos. As mesmas entradas podem ou não produzir os mesmos resultados.
Exemplo de determinismo em aplicações tradicionais:
Este exemplo em Python calcula a idade de uma pessoa usando a data de nascimento e a data atual. Detalhes adicionais, como o tratamento de tipos e a consideração de aniversários que já ocorreram no ano atual, foram omitidos para manter o exemplo conciso.
from datetime import datetime
from typing import Union
def calculate_age(birthdate:str, current_date:str) -> int
age = current_dt.year - birth_dt.year
return age
Dados: data de nascimento = 30 de junho de 1972 e data atual = 31 de agosto de 2025
Idade = 53 anos.
Exemplo de não determinismo em aplicações de IA generativa:
Este aplicativo pode sugerir a idade provável de uma pessoa usando informações mais gerais, sem precisar saber a data de nascimento da pessoa nem a data atual.
Os aplicativos de IA generativa aceitam uma ampla variedade de entradas para inferência de LLMs.
Prompt: Qual é a idade de uma pessoa que gosta de música disco e se lembra de quem ganhou a medalha de ouro olímpica nos 100 m feminino em Barcelona?
Após receber exatamente esse prompt em três ocasiões distintas, as respostas fornecidas pelo LLM foram as seguintes:
Resposta 1: 55 anos
Resposta 2: 40 a 60 anos
Resposta 3: na faixa dos 40, 50 ou 60 anos
A função Python dentro da aplicação tradicional aceita duas entradas (data de nascimento e data atual) e calcula a diferença em anos. Ela não consegue deduzir a idade de uma pessoa nem aceitar descrições das preferências, dos hábitos e assim por diante dessa pessoa, pois não consegue sintetizar informações nem tirar conclusões.
Em comparação, a aplicação de IA generativa pode receber informações sobre gêneros musicais populares durante a infância e usar conhecimentos gerais sobre grandes eventos esportivos para inferir uma resposta. No entanto, as respostas podem variar devido a pequenas diferenças na entrada, como a reformulação de uma pergunta ou as configurações de temperatura (que afetam o nível de aleatoriedade das respostas dos LLMs). Mesmo que o código da aplicação permaneça inalterado entre uma resposta e outra, os resultados podem ser diferentes. Essa variação aumenta conforme a complexidade do prompt, a inclusão de fontes de entrada adicionais e o comportamento dos componentes de roteamento na infraestrutura de inferência.
Dada essa flexibilidade, não é difícil imaginar casos em que uma aplicação de IA generativa possa se desviar drasticamente do comportamento pretendido sem contexto adicional. Esses dois exemplos de contexto ilustram o determinismo extremo do software tradicional e o não determinismo das aplicações de IA generativa. Não se esperaria que um software tradicional estimasse ou previsse a idade de uma pessoa com base no contexto, mas espera-se que as aplicações de IA generativa lidem rotineiramente com esses tipos de questões não determinísticas. Se a aplicação não contiver contexto suficiente, devemos então analisar o ambiente da aplicação.
O contexto ambiental fornece informações externas ao aplicativo
O ambiente consiste na infraestrutura e nos serviços que cercam a aplicação. Em julho de 1982, no seminário CreativeThink da indústria de computadores, Alan Kay disse: “As pessoas que realmente levam o software a sério deveriam criar seu próprio hardware”, pois acreditava firmemente na estreita relação entre ambos. Gostaria de extrapolar essa ideia para incluir o ambiente de implantação.
Os aplicativos não existem isoladamente. Diversos tipos de serviços de infraestrutura se combinam para proporcionar um ambiente no qual os aplicativos possam ser executados. Esses serviços são externos aos aplicativos, mas, ao mesmo tempo, essenciais para seu funcionamento adequado, assim como o hardware. Levando essa linha de raciocínio um passo adiante, esses serviços de infraestrutura são monitorados meticulosamente por meio de diversas soluções de observabilidade, que coletam e acompanham dados detalhados de telemetria ao longo do tempo. Esses dados descrevem o desempenho do aplicativo e como o ambiente ao redor pode afetá-lo.
O contexto do ambiente pode ser dividido em dois tipos: passivo e ativo. Todas as formas de telemetria (por exemplo, logs, métricas, rastreamentos e eventos) podem ser consideradas passivas, pois são emitidas e coletadas continuamente durante a operação da infraestrutura e das aplicações. Alertas, notificações e painéis são ativos. Eles usam regras para interpretar a telemetria e comunicar o contexto operacional. O ajuste das regras confere significado operacional às informações, avaliando quando os limites de tolerância em qualquer parte do ambiente estão próximos de ser atingidos ou são excedidos.
As aplicações de GenAI desafiam a abordagem baseada no uso de regras, pois ainda não existe telemetria confiável capaz de abranger os comportamentos aparentemente infinitos de um componente autônomo. Isso não significa que não haja inovação. Duas abordagens estão sendo testadas: métricas baseadas em domínio para medir o sucesso da GenAI e LLM-as-a-Judge. A primeira utiliza meios alternativos para determinar a verdade fundamental e, em seguida, compará-la a um resultado da GenAI, contabilizando as taxas de sucesso e de falha. A segunda utiliza um LLM para avaliar a precisão de outro. O tempo dirá até que ponto essas abordagens divergentes contribuirão para alcançar um controle efetivo sobre a GenAI por meio do contexto ambiental.
A intenção de negócio completa o panorama do contexto
A intenção de negócio é definida pela frase: “Tudo o que a empresa deseja e nada do que ela não deseja”. Ela abrange situações que a aplicação e o ambiente podem não contemplar.
Notícias recentes destacam um caso em que o componente de IA generativa de uma aplicação recebeu poder suficiente para executar operações extremamente prejudiciais, como excluir todos os registros de clientes de um banco de dados. Veja alguns dados dessa situação que ilustram a lacuna entre a intenção do negócio e as possíveis ações de aplicações de IA generativa.
| O que aconteceu | O contexto de negócios ausente |
|---|---|
| A ferramenta de programação com IA excluiu um banco de dados de produção durante um congelamento de código. |
|
| A ferramenta de programação com IA afirmou que não havia suporte para reversões do banco de dados e que não existiam instâncias a partir das quais fosse possível restaurá-lo, mas a execução manual de uma reversão de fato funcionou. |
|
Este estudo de caso ilustra algumas das muitas possíveis lacunas entre o que a IA generativa pode ter permissão para fazer e o que uma empresa pretende que ela faça.
Projetar uma aplicação com uma função para excluir um registro é perfeitamente razoável, mas permitir que a IA exclua todos os registros sem pedir autorização não é. Em softwares tradicionais, a permissão para excluir registros é restrita para reduzir o risco de perdas para a empresa, mas a IA generativa introduz uma autonomia que não é controlada adequadamente por controles de acesso baseados em funções. Nesse caso, o contexto de negócios ajuda a definir os comportamentos esperados e inesperados, que podem ser traduzidos em requisitos específicos, incluindo ações explicitamente proibidas e pausas obrigatórias para intervenção humana. É o contexto completo que possibilita esse nível de controle.
As arquiteturas de aplicações concebidas antes do surgimento da IA generativa são simplesmente insuficientes. A chegada da IA generativa exige um novo padrão arquitetural que combine os três domínios de contexto: a aplicação, seu ambiente e a intenção de negócio. Esta explicação de Phil Schmid, engenheiro sênior de relações com IA no Google DeepMind, é particularmente útil para compreender a diferença fundamental trazida pelas aplicações de IA generativa. Ela destaca que os LLMs recebem o contexto como parte de suas entradas e mostra como os diversos componentes de uma aplicação de IA generativa têm sua própria definição e forma de uso do contexto.
A arquitetura e a engenharia de aplicações de IA generativa precisam aproveitar os três domínios de contexto para produzir resultados que estejam sempre alinhados à intenção do negócio. Sem uma visão completa do contexto, o controle é ilusório, a confiança é inexistente e a adoção em larga escala é inalcançável.
Sobre o autor
Publicações relacionadas no blog
Controlando aplicações de IA generativa por meio do contexto
Controlar aplicativos de IA generativa significa aproveitar o contexto da aplicação, do ambiente e dos negócios. Saiba por que um contexto completo garante confiança e adoção.