Top 10 em entrega de aplicações de IA: incapacidade de lidar com a latência

Lori Mac VittieEngenheiro Emérito e Evangelista-Chefe | F5

A latência sempre foi aquilo que todos fingimos ser “apenas uma questão de desempenho” — até começar a abalar a confiança dos usuários, aumentar drasticamente o volume de incidentes e, silenciosamente, transformar seu orçamento em uma fogueira. O ADC06 original enquadra isso corretamente como um problema de entrega de aplicações, porque a latência raramente fica restrita a uma única camada e nunca se comporta de forma previsível. A IA intensifica essa dinâmica, tornando-a mais cara e muito mais difícil de esconder atrás de um indicador de carregamento.

O motivo é simples. As experiências com IA são interativas, e as pessoas percebem a demora de forma diferente quando esperam por uma resposta que parece fazer parte de uma conversa. Uma página que demora para carregar é irritante. Já a resposta lenta de um “assistente” dá a impressão de que algo está errado e, quanto maior a espera, mais o usuário passa a considerar mentalmente seu sistema como “não confiável” em vez de “útil”, sem precisar de um painel para confirmar isso.

Impacto no desempenho

Na entrega tradicional de aplicações, a latência costuma se manifestar como um tempo de resposta maior, fazendo com que a aplicação pareça lenta. Os usuários reclamam, seu NPS cai, suas taxas de conversão são afetadas e começam as discussões de sempre sobre se o problema está na rede, na aplicação, no banco de dados ou “na nuvem”. Esse problema sempre foi real, mas também é conhecido, o que significa que as equipes sabem como analisá-lo.

Com a IA, a latência deixa de parecer lentidão e passa a transmitir uma sensação de incompetência. Os usuários não interpretam uma longa pausa como “um sistema distribuído fazendo coisas de sistema distribuído”. Eles a interpretam como hesitação, confusão ou falha e, uma vez que essa percepção se instala, ela tende a persistir. A resposta pode até chegar, mas você já está em desvantagem, porque o sistema transmitiu incerteza em vez de confiança.

O comportamento orientado por tokens agrava esse problema de uma forma com a qual os aplicativos tradicionais nunca precisaram lidar. O prompt pode crescer com o tempo porque todos continuam adicionando contexto “por via das dúvidas”, e o tamanho da resposta pode aumentar drasticamente porque os modelos fazem o que fazem e continuam falando, a menos que você imponha limites. Mesmo quando a infraestrutura está funcionando bem, a experiência ainda pode parecer lenta porque o volume de trabalho aumentou, e não porque o sistema regrediu.

Impacto na disponibilidade

A latência sempre foi um problema de confiabilidade disfarçado de problema de desempenho. Quando uma dependência fica lenta, os timeouts são acionados. Quando os timeouts são acionados, surgem novas tentativas. Quando surgem novas tentativas, a carga aumenta. Quando a carga aumenta, tudo fica mais lento, e então você passa a observar um efeito cascata que se comporta como uma indisponibilidade, embora, tecnicamente, nada esteja fora do ar.

Os sistemas de IA são especialmente propensos a transformar latência em incidentes de disponibilidade, pois têm mais componentes do que uma pilha de aplicações comum. Há o endpoint do modelo, o gateway, a camada de orquestração, os serviços de recuperação de informações, os sistemas de execução de ferramentas e, muitas vezes, a aplicação de políticas integrada ao fluxo da solicitação. Quando um desses elementos começa a responder lentamente, a experiência se deteriora de maneiras confusas e difíceis de diagnosticar.

Os fluxos de trabalho agênticos acrescentam outro padrão de falha que parece falta de confiabilidade, mesmo quando se trata apenas de atraso. Os agentes tendem a executar várias ações por interação do usuário e geralmente as realizam de forma sequencial, pois a próxima etapa depende do resultado da anterior. Isso significa que uma chamada lenta a uma ferramenta não apenas deixa o sistema mais lento, mas também impede o avanço do processo. Quando um número suficiente de sessões fica bloqueado, as filas aumentam, a concorrência entra em colapso e o sistema começa a apresentar sintomas que parecem indisponibilidade, incluindo tempos limite, sessões abandonadas e uma onda crescente de reclamações de usuários que parecem irracionais até que você analise os rastreamentos.

Impacto na escalabilidade

A escalabilidade em sistemas de IA costuma ser mal compreendida porque as equipes continuam pensando em termos de volume de solicitações, quando a verdadeira limitação muitas vezes é o tempo por solicitação. À medida que a latência aumenta, cada sessão permanece aberta por mais tempo, ocupando recursos computacionais por mais tempo e reduzindo a taxa de transferência efetiva.

A IA adiciona uma variabilidade que torna isso muito mais crítico. Algumas solicitações são rápidas. Outras incluem prompts enormes, recuperação intensiva de dados, respostas longas e várias chamadas de ferramentas. Se você projetar com base em médias, os casos extremos vão penalizar você — e, em sistemas de IA, eles não são um mero erro de arredondamento. A latência de cauda passa a definir a experiência do usuário, pois os usuários não se lembram da melhor resposta que você já produziu.

A simultaneidade também se comporta de maneira diferente. As cargas de trabalho de IA costumam ser interativas e orientadas a sessões, o que significa que não se comportam como um tráfego de API simples e sem estado. O sistema precisa manter o contexto, lidar com solicitações de acompanhamento e preservar a coerência da experiência. Se a latência aumentar gradualmente, você não estará apenas atendendo a menos solicitações por segundo, mas também conduzindo menos conversas por minuto — e essa distinção é importante quando o valor do seu produto é definido pela agilidade de resposta.

Impacto na eficiência operacional

A latência penaliza as operações de uma forma tão previsível quanto irritante. A primeira reação geralmente é aumentar a capacidade, porque essa é a medida mais rápida de implementar e a mais fácil de justificar. A segunda costuma ser adicionar cache, porque parece uma solução inteligente e pode ajudar. A terceira geralmente é adicionar novas tentativas, porque alguém quer garantir a confiabilidade — e, sem perceber, você acaba criando um sistema que transforma lentidão em aumento de carga.

Com o tempo, a latência cria um modelo operacional no qual as equipes passam mais tempo mantendo o sistema de entrega do que entregando funcionalidades. A IA agrava esse problema, pois o desempenho precisa ser considerado de ponta a ponta e abrange diferentes domínios. No fim, é preciso solucionar problemas envolvendo equipes, fornecedores e serviços que nunca foram projetados para serem depurados como um pipeline único e coeso. Cada investigação se transforma em um mapa de dependências e intervalos de tempo, e a resposta raramente é simples.

Práticas recomendadas para mitigar os desafios de latência

A primeira e mais importante prática é tratar a entrega de IA como uma questão de entrega, e não como um problema de modelo. Se você otimizar apenas a inferência, estará melhorando o motor enquanto ignora o trânsito, as estradas e os cruzamentos. É preciso considerar todo o percurso, desde a entrada do usuário até a resposta final, incluindo as etapas que ocorrem antes e depois da chamada ao modelo.

O roteamento volta a ser um recurso importante, pois as cargas de trabalho de IA são sensíveis à distância e ao tamanho das filas. A proximidade entre a inferência e a recuperação de dados é importante, assim como a escolha do pool de capacidade adequado para cada tipo de solicitação. Um endpoint íntegro nem sempre é a melhor opção se estiver sobrecarregado, muito distante ou associado a dependências downstream lentas. Quando o sistema fica sobrecarregado, um roteamento inteligente pode fazer a diferença entre uma experiência satisfatória e um colapso gradual.

A alocação adaptativa de recursos também é indispensável, pois a demanda por IA ocorre em picos e é imprevisível, e não há planejamento de capacidade capaz de contornar essa realidade. O sistema precisa de mecanismos para controlar o consumo sob pressão, incluindo a adequação das solicitações, a degradação gradual, estratégias de seleção de modelos e limites para o nível de orquestração que uma única interação pode acionar. Esses mecanismos não servem apenas para controlar custos. Eles também garantem a estabilidade.

Conclusão

A latência sempre foi um risco fundamental na entrega de aplicações, e o ADC06 a destacou por um bom motivo. A IA simplesmente torna esse risco mais visível e mais prejudicial, pois a demora em uma experiência com IA transmite uma sensação de falta de confiabilidade, e a falta de confiabilidade compromete a adoção mais rapidamente do que quase qualquer outro fator.

Se você está desenvolvendo aplicações com recursos de IA hoje, lidar com a latência é essencial para que o sistema pareça competente, permaneça disponível em condições reais de uso, possa ser escalado sem custos descontrolados e evite que suas equipes de operações vivam em um estado constante de depuração forense. As regras antigas ainda se aplicam, mas as consequências são mais graves, pois os usuários interpretam o tempo de resposta da IA como um indicativo de que podem ou não confiar no funcionamento do sistema.

Saiba mais sobre os 10 principais desafios de entrega de aplicações enfrentados por organizações em todo o mundo.

Sobre o autor

Lori Mac VittieEngenheiro Emérito e Evangelista-Chefe | F5

Lori MacVittie é engenheira distinta e evangelista-chefe no Escritório do CTO da F5, com ampla experiência em entrega de aplicações, estratégia de automação e infraestrutura. Ela é conhecida por transformar complexidade em clareza, seja definindo diretrizes para agentes de IA, analisando arquiteturas multinuvem frágeis ou investigando os limites de sistemas escaláveis. Ela acumula mais de trinta anos de experiência no setor, abrangendo desenvolvimento de aplicações, arquitetura de TI e operações de redes e sistemas. Antes de ingressar na F5, atuou como editora de tecnologia e recebeu diversos prêmios. MacVittie tem mestrado em Ciência da Computação e é uma autora prolífica, com publicações que abrangem segurança, nuvem e arquitetura empresarial. Ela também é uma entusiasta de jogos de tabuleiro e videogames, além de ter opiniões assumidamente fortes sobre queijos.

Mais publicações de Lori Mac Vittie