Controlando aplicações de IA generativa por meio do contexto
A mais recente pesquisa AI Pulse da EY mostra que 87% dos líderes seniores enfrentam obstáculos à adoção, desde riscos de segurança cibernética e questões de dados até falta de políticas e governança. Você precisa tanto do desejo quanto da capacidade para integrar a IA generativa (GenAI) ao seu negócio. A diferença entre os dois se traduz em complexidade operacional e na necessidade de confiança nesta nova tecnologia.
Há décadas, as empresas desenvolvem e implementam software, mas a GenAI traz um novo desafio: o controle. Diferente do software tradicional, as aplicações GenAI agem com autonomia e são não determinísticas. Por isso, você não pode confiar que essas aplicações farão só o que foi planejado e nunca agirão de forma inesperada — pelo menos, ainda não. Sem controle, fica impossível adotar em larga escala. O desafio do controle fica mais claro ao analisar o poder do contexto, e essa compreensão mostra como as empresas podem ampliar o design tradicional de software para adaptar-se à GenAI.
Com contexto suficiente, conseguimos controlar a incerteza das aplicações GenAI, pois ele conecta o que as aplicações GenAI fazem ao que seu negócio deseja. Podemos obter contexto a partir de três domínios: a aplicação GenAI, o ambiente e o negócio.
Comparação do contexto da aplicação
O contexto nas aplicações GenAI difere bastante do das aplicações tradicionais. As aplicações tradicionais definem previamente as entradas permitidas como parâmetros para operações pré-estabelecidas. As mesmas entradas sempre geram os mesmos resultados. Já as aplicações GenAI aceitam uma variedade muito maior de entradas em grandes modelos de linguagem (LLMs), que naturalmente produzem resultados não determinísticos. Essas mesmas entradas podem ou não gerar os mesmos resultados.
Exemplo de determinismo tradicional em aplicações:
Este exemplo em Python calcula a idade de uma pessoa a partir da data de nascimento e da data atual. Recursos como tratamento de tipos e ajuste para datas de nascimento já passadas neste ano foram omitidos para manter a objetividade.
from datetime import datetime
from typing import Union
def calcular_idade(data_nascimento:str, data_atual:str) -> int
idade = current_dt.year - birth_dt.year
retornar idade
Dado: data de nascimento = 30 de junho de 1972 e data atual = 31 de agosto de 2025
Idade = 53 anos.
Exemplo de não determinismo em aplicação GenAI:
Essa aplicação sugere a idade provável de uma pessoa usando informações mais amplas, sem precisar conhecer a data de nascimento nem a data atual.
Aplicações de IA generativa aceitam diversos tipos de entrada para inferência de LLM.
Pergunta: Quantos anos tem uma pessoa que gosta de música disco e lembra quem venceu ouro olímpico nos 100m feminino em Barcelona?
Após fornecer esse pedido exato três vezes, as respostas do LLM foram as seguintes:
Resposta 1: 55 anos
Resposta 2: De 40 a 60 anos
Resposta 3: 40, 50 ou 60
A função Python dentro da aplicação tradicional recebe duas entradas (data de nascimento e data atual) e calcula a diferença em anos. Ela não consegue deduzir a idade de uma pessoa nem considerar descrições sobre preferências, hábitos e outros detalhes, pois não consegue sintetizar nem tirar conclusões.
Em comparação, a aplicação GenAI pode aceitar afirmações sobre gêneros musicais populares na infância e conhecimento comum sobre grandes eventos esportivos para formular uma resposta, mas as respostas variam porque pequenas diferenças na entrada, como reformulação de perguntas ou configurações de temperatura (que influenciam o grau de aleatoriedade nas respostas dos LLM), podem causar variações. Mesmo sem alterações no código da aplicação entre as respostas, elas podem ser diferentes. Essa variação cresce conforme aumenta a complexidade do prompt, a inclusão de fontes de entrada adicionais e o comportamento dos componentes de roteamento na infraestrutura de inferência.
Dada essa margem, é fácil imaginar casos em que uma aplicação GenAI se afaste muito do comportamento esperado sem um contexto adicional. Esses dois exemplos de contexto mostram o determinismo extremo do software tradicional e o caráter não determinístico das aplicações GenAI. Não esperamos que o software tradicional adivinhe ou preveja a idade de uma pessoa pelo contexto, mas aplicações GenAI lidam rotineiramente com essas perguntas não determinísticas. Se a aplicação não tiver contexto suficiente, precisamos analisar o ambiente da aplicação.
O contexto ambiental informa a aplicação a partir do seu entorno
O ambiente inclui a infraestrutura e os serviços que suportam a aplicação. Em julho de 1982, no seminário da indústria de computadores CreativeThink, Alan Kay afirmou: “Quem leva software a sério deve criar seu próprio hardware”, pois ele acreditava profundamente na conexão estreita entre os dois. Gostaria de ampliar essa ideia para abranger também o ambiente de implantação.
As aplicações não vivem isoladas. Diversos serviços de infraestrutura trabalham juntos para oferecer um ambiente onde as aplicações podem operar. Esses serviços ficam fora das aplicações, mas são essenciais para o funcionamento delas, assim como o hardware. Levando esse pensamento adiante, monitoramos rigorosamente esses serviços de infraestrutura com várias soluções de observabilidade que coletam e acompanham dados detalhados de telemetria ao longo do tempo. Esses dados mostram como a aplicação está performando e de que forma o ambiente ao redor pode influenciá-la.
O contexto ambiental se divide em dois tipos: passivo e ativo. Consideramos passivas todas as formas de telemetria (como logs, métricas, rastreamentos e eventos), pois elas são emitidas e coletadas continuamente conforme a infraestrutura e as aplicações funcionam. Alertas, notificações e painéis são ativos. Eles usam regras para interpretar a telemetria e transmitir o contexto operacional. Ajustamos as regras para dar significado operacional às informações, identificando quando as tolerâncias em qualquer parte do ambiente se aproximam ou são ultrapassadas.
Aplicações GenAI desafiam a abordagem baseada em regras porque ainda não há telemetria confiável que cubra os comportamentos aparentemente infinitos de um componente autônomo. Mas isso não significa que a inovação tenha parado. Estamos testando duas abordagens: Métricas baseadas no domínio para avaliar o sucesso do GenAI e LLM atuando como juiz. A primeira adota alternativas para definir um fundamento legal e, a partir daí, compara os resultados do GenAI, registrando taxas de sucesso e falha. A segunda utiliza um LLM para avaliar a precisão de outro. O tempo mostrará até onde essas abordagens distintas avançarão para garantir controle efetivo da GenAI com base no contexto ambiental.
A intenção de negócio completa o contexto
Intenção empresarial significa “Tudo o que a empresa deseja e nada do que não deseja”. Ela abrange as situações que podem escapar à aplicação e ao ambiente.
Notícias recentes mostram um caso em que o componente GenAI de uma aplicação foi autorizado com poder suficiente para realizar operações extremamente prejudiciais, como excluir todos os registros de clientes de um banco de dados. Aqui estão alguns dados dessa situação que evidenciam a diferença entre a intenção do negócio e as ações possíveis das aplicações GenAI.
| O que aconteceu | O contexto de negócios que falta |
|---|---|
| Ferramenta de codificação por IA apagou um banco de dados de produção durante o congelamento de código. |
|
| A ferramenta de codificação por IA informou que reversões de banco de dados não eram suportadas e que não havia instâncias para restaurar, mas a execução manual da reversão funcionou normalmente. |
|
Este estudo de caso destaca algumas das lacunas que podem surgir entre o que a GenAI está autorizada a fazer e o que uma empresa planeja que ela faça.
Projetar uma aplicação com uma função para excluir um registro faz todo o sentido, mas permitir que a IA exclua todos os registros sem pedir permissão não é aceitável. No software tradicional, limitamos a permissão para excluir registros a fim de reduzir o risco de perdas ao negócio, mas o GenAI traz autonomia que os controles de acesso baseados em funções não conseguem gerenciar adequadamente. O contexto empresarial ajuda ao definir comportamentos esperados e inesperados, que podem ser traduzidos em requisitos concretos, incluindo ações proibidas explicitamente e pausas obrigatórias para intervenção humana. Só com o contexto completo conseguimos alcançar esse nível de controle.
Arquiteturas de aplicações concebidas antes da chegada do GenAI simplesmente não são suficientes. A chegada do GenAI exige um novo padrão arquitetônico que una os três domínios de contexto: a aplicação, seu ambiente e a intenção de negócio. Esta explanação de Phil Schmid, engenheiro sênior de relacionamento com IA no Google DeepMind, ajuda muito a entender a diferença essencial que as aplicações GenAI trazem. Ele destaca que os LLMs recebem contexto como parte de sua entrada e mostra como vários componentes das aplicações GenAI definem e utilizam o contexto de forma distinta.
Arquitetura e engenharia para aplicações GenAI devem integrar todos os três domínios de contexto para garantir resultados que estejam alinhados com os objetivos do negócio. Sem uma visão completa do contexto, o controle é mera aparência, a confiança não existe e a adoção plena fica fora de alcance.