Se os aplicativos nativos da nuvem fossem um punhado de mangueiras de jardim, os sistemas de inferência de IA e de agentes seriam um conjunto de aspersores industriais controlado por uma criança pequena usando um capacete de bombeiro e segurando uma caixinha de suco. Você acha que sabe para onde a água está indo, mas não sabe. Quando percebe, algo caro já está encharcado.
As cargas de trabalho de inferência e a execução orientada por agentes não se comportam como serviços tradicionais. Elas não seguem fluxos de requisições previsíveis, não repetem os fluxos de trabalho de forma consistente e não falham de maneira comportada. Elas moldam o próprio ambiente de execução, mudam de direção com base em resultados parciais, tentam novamente quando acham que é sensato e consomem recursos em picos altamente variáveis. Se a sua estratégia de observabilidade se baseia em médias, agregações ou painéis atualizados a cada 30 segundos, isso é negligência operacional.
Impacto no desempenho
A latência de inferência não é uma métrica única nem está vinculada a uma única camada. Ela é influenciada pela escolha do modelo, pela quantidade de tokens, pelo tamanho da fila da GPU, pelo tempo de acesso aos dados de origem e por quaisquer malabarismos com prompts que um agente faça durante a execução. Os agentes tornam tudo isso ainda mais caótico ao criar ramificações, encadear ações ou fazer novas tentativas sem avisar o que pretendem fazer.
Se você não consegue visualizar o desempenho no nível da intenção, da geração de tokens, do caminho percorrido pelo modelo e da linhagem de execução, acabará culpando o componente errado, otimizando a camada errada ou escalando o recurso errado. Enquanto isso, os usuários (humanos ou automatizados) simplesmente concluirão: “A IA é lenta.”
Impacto na disponibilidade
As verificações de integridade tradicionais respondem apenas: “Houve resposta?” As cargas de trabalho de IA precisam saber: “A resposta ocorreu dentro do esperado para esta tarefa?”
Sistemas de inferência raramente ficam fora do ar; em vez disso, degradam-se até se tornarem educados, porém inutilizáveis. Respostas lentas, acertos de cache desatualizados ou alucinações discretas podem parecer sinais de sucesso, a menos que você tenha visibilidade sobre o tipo de tarefa, o limite mínimo de latência esperado e os critérios de qualidade. Com agentes acumulando decisões, as novas tentativas se transformam em ciclos invisíveis que parecem tráfego normal até que algo entre em colapso.
O pesadelo operacional aqui não é a indisponibilidade, mas sim um sucesso incorreto, incompleto ou inadequado ao contexto.
Impacto na escalabilidade
Não é possível escalar o que não se pode ver e, definitivamente, não é possível otimizar os custos do que não se pode atribuir. O planejamento da capacidade de IA deve levar em conta:
- Taxa de processamento de tokens
- Concorrência de modelos e o custo da alternância entre modelos
- Saturação da GPU
- Multiplicação de novas tentativas do agente
- Custo por chamada
- Prolongamento da execução em etapas encadeadas
Sem esse nível de visibilidade, você oscila entre o provisionamento excessivo (arrependimento financeiro) e o provisionamento insuficiente (chamados de suporte, gerentes de produto irritados e salas de crise para escalonamento). Nenhum dos dois demonstra maturidade; ambos evidenciam uma dívida de observabilidade.
Práticas recomendadas
A observabilidade completa para IA não consiste em coletar mais logs, mas em capturar com mais rapidez uma telemetria mais rica e alinhada ao comportamento, capaz de compreender o que a IA estava tentando fazer, o que ela realmente fez e quais recursos consumiu para chegar ao resultado. Isso exige uma instrumentação capaz de explicar não apenas o que aconteceu, mas também por quê, com base em quais premissas e a que custo.
Isso significa rastrear a linhagem de execução de fluxos de trabalho montados por agentes, elevar custo e latência à condição de sinais operacionais de primeira classe, correlacionar o comportamento do modelo à intenção, em vez de aos endpoints, e incorporar as expectativas declaradas pelos agentes aos metadados de observabilidade. Os metadados deixam de ser “informações da solicitação” e passam a ser um “contrato de execução”, com orçamentos de latência, preferências de repetição de tentativas, rótulos de sensibilidade dos dados, níveis de prioridade dos agentes e limites de custo incluídos no nível da chamada.
À medida que isso evoluir, veremos o surgimento de um plano de telemetria de alta velocidade: um fluxo de dados desenvolvido especificamente para operar em menos de um milissegundo, capaz de capturar sinais por token, por etapa e por agente sem sobrecarregar o armazenamento nem comprometer os SLOs. Esse plano de telemetria provavelmente ficará próximo à camada de inferência, oferecerá suporte à compressão semântica e fornecerá visibilidade contínua e de baixa latência sobre custos, capacidade, integridade e alinhamento de intenções. Sem isso, a observabilidade de IA sobrecarregará os pipelines existentes ou chegará tarde demais para ser útil.
Os sistemas precisarão ingerir, correlacionar e analisar essa telemetria praticamente em tempo real, e não em modo de processamento em lote, usando-a para orientar o roteamento adaptativo, limitar a atividade dos agentes, selecionar caminhos de inferência de menor custo e detectar precocemente fluxos de trabalho descontrolados antes que resultem em indisponibilidades ou cobranças inesperadas.
A entrega é diferente quando a IA está presente
A IA não falha de forma clara, previsível ou evidente, e a observabilidade incompleta faz com que você só perceba quando a empresa perceber.
Se a inteligência é a nova camada de aplicação, a observabilidade precisa deixar de perguntar “O que aconteceu?” e passar a perguntar: “O que deveria ter acontecido, por que seguimos esse caminho e isso compensou a latência, o risco e o custo?”
Quando você consegue responder a isso em tempo real, está pronto para a IA.
Leia mais sobre os 10 principais desafios da entrega de aplicações enfrentados por organizações em todo o mundo.
Sobre o autor
Lori MacVittie é engenheira distinta e evangelista-chefe no Escritório do CTO da F5, com ampla experiência em entrega de aplicações, estratégia de automação e infraestrutura. Ela é conhecida por transformar complexidade em clareza, seja definindo diretrizes para agentes de IA, analisando arquiteturas multinuvem frágeis ou investigando os limites de sistemas escaláveis. Ela acumula mais de trinta anos de experiência no setor, abrangendo desenvolvimento de aplicações, arquitetura de TI e operações de redes e sistemas. Antes de ingressar na F5, atuou como editora de tecnologia e recebeu diversos prêmios. MacVittie tem mestrado em Ciência da Computação e é uma autora prolífica, com publicações que abrangem segurança, nuvem e arquitetura empresarial. Ela também é uma entusiasta de jogos de tabuleiro e videogames, além de ter opiniões assumidamente fortes sobre queijos.
Mais publicações de Lori Mac VittiePublicações relacionadas no blog
Top 10 de entrega de aplicações de IA: falta de tolerância a falhas e resiliência
A IA torna as lacunas clássicas de resiliência muito mais onerosas: falhas em uma única GPU ou dependência se propagam por cadeias síncronas de inferência, acumulando latência e degradando os resultados.
Top 10 de riscos na entrega de aplicações de IA: práticas inadequadas de DNS
Para sistemas de inferência e sistemas agênticos, a resiliência do DNS é fundamental para a disponibilidade e o desempenho — falhas na resolução podem causar roteamento incorreto, picos de latência e indisponibilidade dos serviços em várias regiões.
O que é o Top 10 de Entrega de Aplicações?
A F5 busca ajudar as organizações a enfrentar os desafios de entrega e proteção de aplicações, APIs e IA generativa com a lista dos 10 principais desafios de entrega de aplicações.
Comportamento e limites: a mudança para a segurança agêntica
Agentes criam sequências emergentes e ilimitadas, nas quais o risco se acumula ao longo do tempo. A segurança deve deixar de se concentrar na validação de solicitações individuais e passar a adotar uma governança comportamental contínua em fluxos de várias etapas e em constante evolução.
A IA está impulsionando o surgimento de novos tipos de tráfego
A adoção da IA está criando novos tipos de tráfego de primeira classe: solicitações de inferência, tráfego de automação orientado por máquinas e tráfego de telemetria de alto volume que alimentam ciclos de controle.
De pacotes a prompts: a inferência adiciona uma nova camada à pilha
Inferência não é treinamento. Não é experimentação. Não é um exercício de ciência de dados. Inferência é um comportamento de execução em produção e funciona como uma camada de aplicação.