Inferência: a parte mais importante da IA que você finge que não existe

Lori Mac VittieEngenheiro Emérito e Evangelista-Chefe | F5

Todo mundo quer falar sobre IA como se ela começasse e terminasse nas APIs. Nos modelos. Nos painéis sofisticados que dizem: "inferência concluída". Mas essa ilusão só se sustenta se você nunca abrir o capô.

Por trás de cada chatbot, agente, pipeline de RAG e camada de orquestração, há um servidor de inferência. Não é uma metáfora. Nem um termo da moda. É literalmente um servidor de aplicações que, por acaso, executa um modelo em vez de um arquivo JAR. E, assim como nos servidores de aplicações tradicionais, é nos mecanismos de inferência que o desempenho falha, que a observabilidade se torna essencial e que sua superfície de ataque realmente reside.

O problema? Quase ninguém os trata dessa forma.

A inferência nas empresas não é apenas teórica

De acordo com a Pesquisa de Infraestrutura de IA de 2025 do Uptime Institute, 32% dos operadores de data centers já oferecem suporte a cargas de trabalho de inferência. Outros 45% afirmam que passarão a fazer isso nos próximos meses. Isso não é experimental. É uma mudança na infraestrutura computacional — e ainda estamos, em grande parte, alheios a ela.

Os servidores de inferência não são apenas teóricos. Eles têm nomes: vLLM, TGI, Triton e Ollama. E não são intercambiáveis. O vLLM, por exemplo, demonstrou ter um desempenho superior ao Hugging Face Transformers em até 24 vezes e supera o TGI em mais de 3 vezes em throughput sustentado, graças a melhorias arquitetônicas como PagedAttention e agendamento em lotes. Não se trata de meras peculiaridades de otimização, mas de consequências para a infraestrutura.

Estamos falando de números reais: o vLLM mantém mais de 500 tokens por segundo no modo em lote, enquanto o TGI fica abaixo de 150. O tempo de avaliação dos prompts cai mais de 40%, o que se traduz diretamente em respostas mais rápidas e melhor utilização da GPU. Em um ciclo de produção, essa é a diferença entre escalar a inferência e travar sob carga.

E não se trata apenas de desempenho. Ferramentas como vLLM e Ollama fornecem telemetria detalhada: duração total, janelas de avaliação no nível dos tokens e separação entre prompt e resposta. Não apenas a contagem de tokens, mas quando, onde e quanto tempo cada token levou para ser processado. É esse nível de granularidade que permite diagnosticar desvios e aplicar mecanismos de proteção. Sem isso, você escala às cegas.

Assim como ocorria com os servidores de aplicações que a precederam, a inferência é o ponto em que a entrega e a segurança de aplicações se encontram com a IA. É onde ocorrem o direcionamento de tráfego e o balanceamento de carga; onde as cargas úteis são inspecionadas, analisadas e processadas para garantir segurança e privacidade. Onde os prompts são higienizados, as respostas são filtradas e o desempenho é otimizado. É o ponto estratégico de controle nas arquiteturas de IA em que as organizações podem enfrentar os dez principais desafios de entrega que sempre afetam aplicações e APIs, sejam elas legadas, modernas ou baseadas em IA.

Por que a inferência fica para trás

A inferência costuma ser negligenciada porque ainda estamos presos ao mundo das APIs. Mas, se você acha que a inferência é apenas mais um serviço por trás de um ingress, é porque nunca tentou depurar um loop de RAG sob carga. Nem rastrear falhas em cadeias de agentes simultâneas. Ou lidar com injeção de prompts em um modelo de linguagem de grande escala (LLM) regulamentado, que precisa registrar todas as decisões para fins de auditoria.

Esse não é um problema teórico. É um gargalo de rede prestes a acontecer.

Os servidores de inferência são o contêiner do seu modelo. Eles são o ambiente de execução. O ponto de estrangulamento. O limite de segurança. O lugar onde você realmente escala a IA. Um modelo é matemática. É um conjunto de dados, uma planilha sofisticada do Excel. Você não escala isso; você o carrega em um servidor de inferência, e é esse servidor que você escala.

Portanto, se você realmente quer colocar a IA em operação, pare de falar sobre diagramas abstratos de arquitetura e comece a fazer perguntas mais difíceis:

• Quais mecanismos de inferência estamos usando?
• Onde eles estão implantados?
• Quem pode acessá-los?
• Quais dados de telemetria coletamos por solicitação?

Essas não são preocupações acadêmicas. São verdades sobre infraestrutura. E, quanto mais tempo as ignorarmos, mais frágeis se tornarão nossas implantações de IA. Os modelos são importantes. As APIs ajudam. Mas é na inferência que a realidade se impõe. Se você não está escalando a inferência, não está escalando a IA.

A inferência é um componente essencial da infraestrutura de IA

A maioria das organizações ainda adota uma abordagem híbrida quando se trata de IA, recorrendo a ferramentas baseadas em SaaS pela conveniência, enquanto explora com cautela a inferência auto-hospedada. O problema é que o SaaS oculta as partes difíceis. A inferência fica abstraída por trás de APIs sofisticadas e interfaces de usuário bem-acabadas. Você não vê o mecanismo falhar, a GPU ficar sobrecarregada nem o tempo de resposta dos prompts oscilar. Mas, assim que você entra no território da auto-hospedagem (e isso vai acontecer), herda tudo isso. Desempenho, observabilidade e segurança não são apenas “desejáveis”. São pré-requisitos.

Se a sua organização não entende como a inferência realmente funciona nos bastidores, ela não está construindo uma estratégia de IA. Está apenas torcendo para que outra pessoa tenha feito tudo certo.

Sobre o autor

Lori Mac VittieEngenheiro Emérito e Evangelista-Chefe | F5

Lori MacVittie é engenheira distinta e evangelista-chefe no Escritório do CTO da F5, com ampla experiência em entrega de aplicações, estratégia de automação e infraestrutura. Ela é conhecida por transformar complexidade em clareza, seja definindo diretrizes para agentes de IA, analisando arquiteturas multinuvem frágeis ou investigando os limites de sistemas escaláveis. Ela acumula mais de trinta anos de experiência no setor, abrangendo desenvolvimento de aplicações, arquitetura de TI e operações de redes e sistemas. Antes de ingressar na F5, atuou como editora de tecnologia e recebeu diversos prêmios. MacVittie tem mestrado em Ciência da Computação e é uma autora prolífica, com publicações que abrangem segurança, nuvem e arquitetura empresarial. Ela também é uma entusiasta de jogos de tabuleiro e videogames, além de ter opiniões assumidamente fortes sobre queijos.

Mais publicações de Lori Mac Vittie