Como a inferência de IA transforma a entrega de aplicações

Lori Mac VittieEngenheiro Emérito e Evangelista-Chefe | F5

A entrega de aplicações sempre teve como objetivo garantir três aspectos: desempenho, disponibilidade e confiabilidade. Esses princípios definiram o sucesso ao longo de várias gerações de arquiteturas de aplicações, do modelo cliente-servidor à web e à nuvem. Mas a inteligência artificial, especificamente a inferência, muda essa equação.

Atualmente, 80% das empresas afirmam operar seus próprios servidores de inferência. A inferência não é mais um experimento. É uma carga de trabalho amplamente adotada, com impacto real nos negócios. Ainda assim, muitas organizações continuam tratando os endpoints de inferência como “apenas mais uma API”. Essa premissa é arriscada. Ao contrário das APIs convencionais, as solicitações de inferência são probabilísticas, exigem grande capacidade computacional e são sensíveis ao contexto. Tratá-las como cargas de trabalho tradicionais compromete os próprios objetivos da entrega de aplicações e expõe as organizações a novas categorias de riscos operacionais e de segurança.

Hoje, vamos explorar como a inferência redefine a tríade de desempenho, disponibilidade e confiabilidade (PAR) da entrega de aplicações, abordar as diferenças algorítmicas que as empresas precisam considerar e destacar as implicações para tecnologias de entrega, como monitoramento de integridade, balanceamento de carga, otimização de tráfego e segurança.

A tríade PAR: a base da entrega de aplicações

Assim como a segurança se baseia na tríade CIA — confidencialidade, integridade e disponibilidade —, a entrega de aplicações se apoia em sua própria tríade: desempenho, disponibilidade e confiabilidade.

• Desempenho: O aplicativo responde com rapidez suficiente para atender às expectativas dos usuários?
• Disponibilidade: O aplicativo está acessível e retornando resultados válidos sob estresse?
• Confiabilidade: É possível confiar que a aplicação se comportará de forma consistente ao longo do tempo?

Durante décadas, essa tríade foi aplicada a cargas de trabalho determinísticas. As respostas eram previsíveis, a exatidão era considerada garantida e os custos eram estáveis. As cargas de trabalho de inferência rompem com essas premissas. Como a inferência é probabilística e varia em termos computacionais, as definições de desempenho, disponibilidade e confiabilidade precisam evoluir.

Desempenho: do determinístico ao probabilístico

Em sistemas tradicionais, o desempenho era medido em milissegundos. Solicitações idênticas produziam resultados praticamente idênticos. Com a inferência, é diferente. A latência varia de acordo com o tamanho do modelo, a complexidade da entrada, as estratégias de processamento em lote e as configurações de geração. Até mesmo dois prompts idênticos podem apresentar tempos de resposta diferentes.

Para as empresas, isso significa que o desempenho deve ser definido não apenas pela latência média, mas também pela variabilidade e eficiência. Ou seja, pela rapidez com que os tokens são gerados, pela capacidade de manter a taxa de transferência sob carga e pela previsibilidade dos custos.

Disponibilidade: a acessibilidade deve incluir a correção

A disponibilidade tradicional era binária: o sistema estava no ar ou fora do ar. Presumia-se que os resultados estivessem corretos, pois a execução do código era determinística. Com a inferência, a disponibilidade não pode se limitar à acessibilidade. Um modelo pode estar online e, ainda assim, ser lento demais para uso, estar com o contexto saturado ou fornecer respostas erradas com confiança.

Agora, a disponibilidade exige correção, além de capacidade de resposta. Os sistemas devem ser avaliados não apenas quanto à capacidade de fornecer uma resposta, mas também quanto à rapidez e à validade dessa resposta.

Confiabilidade: da consistência à consistência semântica

Confiabilidade já significou que, diante de entradas idênticas, os sistemas produziam saídas idênticas. As cargas de trabalho de inferência rompem com essa expectativa. A variabilidade é inerente. Atualizações de modelos, retreinamento e geração estocástica introduzem desvios. Os modelos de cobrança baseados em tokens tornam a previsibilidade ainda mais complexa.

A confiabilidade agora deve ser medida em termos de consistência semântica: o sistema consegue fornecer resultados com níveis aceitáveis de qualidade, precisão e previsibilidade ao longo do tempo, apesar do não determinismo?

Diferenças algorítmicas e de comunicação

As cargas de trabalho de inferência são fundamentalmente diferentes das cargas de servidores web e de aplicativos:

• Agrupamento em lotes: as solicitações podem ser agrupadas para aumentar a eficiência da GPU, alterando a ordem FIFO e gerando variações na latência.
• Streaming: As respostas são entregues token por token, exigindo que os sistemas de entrega processem saídas parciais e cancelamentos.
• Estratégias de amostragem e busca: A variabilidade da saída é determinada por escolhas algorítmicas, como temperatura, amostragem top-k ou busca em feixe.
• Roteamento: a seleção de modelos e especialistas adiciona uma camada de comportamento dinâmico inexistente em sistemas determinísticos.

Essas diferenças alteram tanto o desempenho quanto a semântica da inferência de maneiras que os produtos tradicionais de entrega não foram projetados para contemplar.

Implicações de segurança

A inferência também introduz novos riscos. De acordo com nossa pesquisa, 84% das organizações realizam testes ou monitoramento para detectar injeção de prompts, jailbreaks ou manipulação de resultados. Mais da metade (56%) já inspeciona as entradas e saídas da inferência por meio de gateways ou middleware. Ainda assim, uma em cada cinco empresas permite que prompts brutos cheguem aos modelos sem inspeção, o equivalente a executar uma aplicação web sem firewall.

A lição é clara: tratar a inferência como uma API convencional deixa as organizações vulneráveis. A disponibilidade e a confiabilidade entram em colapso quando a exatidão e a integridade semântica são ignoradas. As empresas precisam integrar defesas específicas para inferência à sua pilha de entrega de aplicações, desde a aplicação de políticas em tempo de execução até a detecção de anomalias adversariais.

Conclusão

A inferência não está mais no horizonte; hoje, ela já está incorporada aos ambientes de produção das empresas. Oitenta por cento das organizações já operam sua própria infraestrutura de inferência. No entanto, a inferência não é apenas mais uma API. Ela introduz execução probabilística, riscos de correção e variabilidade semântica que redefinem o que significa entregar aplicações.

Na era da IA, a entrega de aplicações precisa evoluir. As empresas devem adaptar suas estratégias e tecnologias para garantir que os sistemas baseados em inferência mantenham o desempenho, a disponibilidade e a confiabilidade (sejam utilizáveis, previsíveis, seguros e corretos), mesmo quando a execução subjacente for inerentemente probabilística.

Sobre o autor

Lori Mac VittieEngenheiro Emérito e Evangelista-Chefe | F5

Lori MacVittie é engenheira distinta e evangelista-chefe no Escritório do CTO da F5, com ampla experiência em entrega de aplicações, estratégia de automação e infraestrutura. Ela é conhecida por transformar complexidade em clareza, seja definindo diretrizes para agentes de IA, analisando arquiteturas multinuvem frágeis ou investigando os limites de sistemas escaláveis. Ela acumula mais de trinta anos de experiência no setor, abrangendo desenvolvimento de aplicações, arquitetura de TI e operações de redes e sistemas. Antes de ingressar na F5, atuou como editora de tecnologia e recebeu diversos prêmios. MacVittie tem mestrado em Ciência da Computação e é uma autora prolífica, com publicações que abrangem segurança, nuvem e arquitetura empresarial. Ela também é uma entusiasta de jogos de tabuleiro e videogames, além de ter opiniões assumidamente fortes sobre queijos.

Mais publicações de Lori Mac Vittie