Gerenciar janelas de contexto em IA não é mágica. É arquitetura.

Lori Mac VittieEngenheiro Emérito e Evangelista-Chefe | F5

Então, vamos esclarecer isso, porque entender onde o contexto (sessão) reside nas arquiteturas de IA é importante pra caramba. E você sabe disso porque usei a expressão “pra caramba” em um blog. Sim, estou falando muito sério.

Se você está criando seu próprio aplicativo baseado em LLM e usando a API da OpenAI para isso, você não está usando o ChatGPT. Você está interagindo com um modelo. Um modelo puro. E, se acha que seu aplicativo vai se comportar como o ChatGPT só porque está chamando o GPT-4, você já começou com o pé esquerdo.

O ChatGPT não é um modelo; é um ambiente de execução.

As pessoas entendem isso errado o tempo todo, porque a forma como a OpenAI trabalha sua marca não tem ajudado. A experiência do “ChatGPT” — a memória, o tom, o contexto, a maneira como ele acompanha com naturalidade o que você disse seis perguntas atrás e não começa de repente a alucinar que tem um doutorado em botânica marinha — não é mágica. É arquitetura. E essa arquitetura não vem de graça quando você acessa a API.

O aplicativo ChatGPT é uma experiência gerenciada e estruturada em camadas. Ele integra:

• Engenharia de prompts
• Gerenciamento de contexto
• Memória persistente
• Guardrails e mecanismos de contingência
• Lógica de sumarização, truncamento e controle

Você não recebe nada disso por padrão com a API. Nada.

Quando você chama o GPT-4 (ou qualquer outro modelo, aliás) diretamente, está fornecendo a ele uma sequência bruta de mensagens em um formato sem estado e torcendo para que sua janela de contexto não estoure nem se fragmente ao longo do caminho. É um modelo em branco, não um mordomo digital.

A janela de contexto é responsabilidade sua.

No ChatGPT, o servidor de inferência gerencia toda a janela de contexto. Você digita, ele se lembra (até deixar de lembrar), e dá para confiar que o aplicativo, na maior parte do tempo, acompanhe o que é relevante. Há ainda um sistema de memória por cima disso, e a OpenAI seleciona discretamente quais informações são reinseridas no contexto.

E se você estiver usando a API? Você é o servidor de inferência. Isso significa que:

• Você cria a pilha de mensagens.
• Você decide o que incluir.
• Você gerencia o orçamento de tokens.
• Você trunca, resume ou perde a coerência.

E, se você fizer isso errado (e vai fazer — todos nós erramos no começo), a responsabilidade é sua quando o modelo esquecer o nome do usuário no meio da sessão ou começar a inventar dados que você nunca forneceu a ele.

Memória não é um recurso. É infraestrutura.

O ChatGPT tem memória. Você não. A menos que a implemente. Quando você usa a API, ela não mantém estado. Você gerencia todo o contexto, a memória e o fluxo. Quando usa o aplicativo do ChatGPT, a OpenAI faz tudo isso por você. Já vem integrado.

A “memória” do ChatGPT não é apenas uma anotação anexada a um prompt. É um sistema que armazena informações, preferências, objetivos e restrições do usuário entre diferentes sessões e os insere no prompt de acordo com o contexto, no momento certo. Se você quiser algo assim no seu aplicativo, precisará de:

• Um repositório de dados
• Esquema para entradas de memória
• Lógica de controle para determinar quando incluir cada elemento
• Uma forma de evitar que isso aumente demais sua contagem de tokens

Em outras palavras: infraestrutura.

É por isso que a maioria dos aplicativos de IA desenvolvidos internamente parece frágil. Eles interagem com um LLM como se fosse um chatbot, e não uma ferramenta integrada a um sistema. O resultado? Perda do fio da conversa, prompts repetitivos, regressões estranhas e frustração dos usuários.

E daí?

Se você está desenvolvendo com base na API, está criando uma infraestrutura, quer tenha essa intenção ou não. E, se seus usuários esperam uma experiência semelhante à do ChatGPT, você terá que oferecer:

• Memória persistente
• Compressão inteligente de contexto
• Gerenciamento de estado baseado em turnos
• Guardrails, mecanismos de contingência e lógica de injeção

Mas isso é só o começo. Porque, se você está construindo tudo isso sobre uma stack de entrega de aplicativos de nível empresarial — e está, certo? CERTO? —, então é melhor que o restante da plataforma também esteja à altura.

É aqui que entram em cena as equipes de entrega e segurança de aplicações.

Entrega de aplicações: você não está mais apenas fornecendo HTML ou JSON

Aplicativos nativos de IA mantêm estado, são orientados por conversas e, muitas vezes, funcionam em tempo real. Isso significa que:

• Afinidade de sessão voltou a ser importante. Não é possível distribuir o estado da conversa entre back-ends sem estado, a menos que você gerencie tokens de sessão como se ainda estivéssemos em 2009.
• Latência é a morte da experiência do usuário. Você está transmitindo interações com múltiplos turnos, não servindo páginas estáticas. É melhor que seus balanceadores de carga e sua lógica de borda saibam priorizar fluxos de conversação de baixa latência.
• Custo dos tokens = largura de banda + processamento + dinheiro. Agora, a eficiência na entrega é essencial. O tamanho da carga útil não é apenas uma questão de rede; ele gera custos.

Este não é um site institucional. É uma interface viva. Não dá para simplesmente colocar uma CDN na frente e achar que está resolvido.

Segurança: se o prompt não está sob seu controle, o risco está

Os LLMs podem ser programados por meio de prompts. Isso significa que o prompt agora é a superfície de ataque.

• Ataques de injeção são reais e já estão acontecendo. Se a sanitização das entradas for falha, você estará permitindo que os usuários reprogramem sua IA em tempo real.
• A manipulação de prompts pode expor informações confidenciais armazenadas na memória, comprometer fluxos de trabalho ou falsificar intenções.
• A saída do modelo pode ser exfiltrada, manipulada ou envenenada se não estiver protegida por mecanismos de aplicação de políticas e observabilidade.

Os controles de segurança precisam evoluir:

• Você precisa de WAFs que entendam o tráfego de IA. Bloquear JSON malformado não é suficiente. Você precisa de proteções para conjuntos de instruções, não apenas para a estrutura do payload.
• Você precisa de trilhas de auditoria para decisões de LLMs, especialmente em ambientes regulamentados.
• Você precisa de limitação de taxa e proteção contra abusos, não apenas para chamadas de API, mas também para lidar com a complexidade dos prompts e os picos de custos.

E isso sem nem mencionar o pesadelo da governança de dados que surge ao inserir registros de usuários nas janelas de contexto.

Crie agora a stack certa antes que a IA agêntica saia do controle.

Basicamente, o ChatGPT é um produto refinado. A API da OpenAI é uma ferramenta bruta. Confunda os dois e sua stack vai estourar.

Desenvolva com sabedoria. Crie uma stack de segurança e entrega de aplicações de nível empresarial para dar suporte ao seu crescente portfólio de IA. Acredite: isso será ainda mais importante quando você começar a desenvolver agentes de IA e, em seguida, adotar com entusiasmo uma arquitetura agêntica. Porque, se você acha que o desvio de contexto e as alucinações são problemas em aplicações de IA voltadas ao usuário final, espere só até ver o que a IA agêntica pode fazer com suas aplicações empresariais e operacionais de IA.

Sobre o autor

Lori Mac VittieEngenheiro Emérito e Evangelista-Chefe | F5

Lori MacVittie é engenheira distinta e evangelista-chefe no Escritório do CTO da F5, com ampla experiência em entrega de aplicações, estratégia de automação e infraestrutura. Ela é conhecida por transformar complexidade em clareza, seja definindo diretrizes para agentes de IA, analisando arquiteturas multinuvem frágeis ou investigando os limites de sistemas escaláveis. Ela acumula mais de trinta anos de experiência no setor, abrangendo desenvolvimento de aplicações, arquitetura de TI e operações de redes e sistemas. Antes de ingressar na F5, atuou como editora de tecnologia e recebeu diversos prêmios. MacVittie tem mestrado em Ciência da Computação e é uma autora prolífica, com publicações que abrangem segurança, nuvem e arquitetura empresarial. Ela também é uma entusiasta de jogos de tabuleiro e videogames, além de ter opiniões assumidamente fortes sobre queijos.

Mais publicações de Lori Mac Vittie