Continuamos fingindo que os modelos são apenas endpoints. É como se os servidores que hospedam os mecanismos que codificam os dados de entrada em uma série de números incompreensíveis não existissem.
Ah, meu amigo, eles existem e serão tão importantes para a disponibilização de aplicações quanto os servidores web e de aplicações têm sido. Eles também vão, mais uma vez, obrigar você a repensar a arquitetura da sua infraestrutura.
Veja bem: no momento em que você coloca um modelo por trás de um endpoint (ou seja, implanta um servidor de inferência), ele passa a trafegar pelas mesmas vias das camadas 4 a 7 (L4–L7) que sustentam seus negócios. Nossa pesquisa mais recente sobre segurança de IA mostra que 80% das organizações já executam inferência na nuvem ou em ambientes locais, o que significa que seu modelo agora é mais uma carga de trabalho de produção trafegando por balanceadores de carga, gateways, WAFs e intermediários de API.
Também descobrimos algumas verdades possivelmente incômodas.
A inferência multiplica as APIs
Primeiro, operar inferência multiplica as APIs. Cada novo assistente, serviço de pontuação e sinalizador de recurso incorporado a um modelo se torna mais um ponto de entrada. Isso cria mais brechas para injeção de prompts, vazamentos e manipulação de resultados, além de mais caminhos leste-oeste por onde o contexto pode circular. A implantação de inferência está associada a melhores práticas de higiene em tempo de execução, mas a lacuna ainda é um problema. Entre as equipes que operam inferência, 14% ainda deixam os prompts passarem sem inspeção. Entre os consumidores que usam apenas SaaS, esse número sobe para 40%. Ignorar a inspeção não é “manter as coisas simples”. É deixar a porteira aberta e elogiar o condicionamento físico do cavalo enquanto ele dispara para longe.
É por isso que o ponto de controle é importante. A inferência trafega pelos mesmos canais que suas APIs, portanto, a política precisa ser aplicada diretamente nesse fluxo. Quem implanta inferência parece saber disso. Sessenta e um por cento usam um gateway de IA para inspecionar entradas e saídas, 39% adicionam firewalls e 35% usam proxies personalizados. Os consumidores que usam apenas SaaS dependem das configurações padrão dos fornecedores, e isso fica evidente. Eles têm três vezes mais probabilidade de ignorar completamente os testes ou o monitoramento, e 30% não registram prompts nem respostas para fins de auditoria, em comparação com apenas 8% dos responsáveis pela implantação de inferência que não mantêm esses registros. Essa é uma diferença de maturidade, mas também uma oportunidade. Se seus aplicativos consomem IA de terceiros, um gateway de IA se torna o ponto de inserção para testes contínuos, filtragem e aplicação de políticas. Não confie apenas em um prompt educado e uma oração.
A inferência aumenta a importância das DPUs
Em segundo lugar, a inferência está tornando as DPUs indispensáveis, em vez de apenas desejáveis. Entre as equipes que executam inferência, 71% consideram ou adotam DPUs ao comprar hardware ou escolher instâncias. No grupo que não faz implantação, esse número é de 43%. Quando você direciona tráfego criptografado, inspeção em linha e avaliação de políticas pelos mesmos equipamentos que mantêm seus aplicativos em funcionamento, o descarregamento de tarefas não é um mero truque para melhorar o desempenho. É assim que você mantém a latência em níveis aceitáveis enquanto descriptografa, classifica, inspeciona e aplica políticas em escala. As DPUs aceleram justamente as tarefas de que a inferência mais precisa: segurança da camada de transporte (TLS), telemetria, políticas granulares e verificações por solicitação. Em resumo, mais inferência significa mais trabalho na rede, e as DPUs assumem essa carga.
A inferência exige atenção ao contexto
Por fim, o contexto é o segundo pilar que a maioria das equipes se esquece de respeitar. A inferência não se resume a entradas e saídas. Ela envolve histórico, recuperações de informações, ferramentas e comunicação entre agentes. À medida que as organizações consideram adotar o Model Context Protocol (MCP), já observamos o mesmo padrão. As organizações que fazem implantações pretendem padronizar seus processos: 58% sinalizam a adoção do MCP, contra 21% no grupo que não realiza implantações. O atrativo é evidente. O MCP promete estruturar os fluxos de contexto.
O risco também é óbvio. Um contexto opaco pode se tornar um canal lateral que contorna suas políticas tão bem elaboradas. Isso exige uma inspeção que compreenda prompts e respostas, mas também a procedência e as políticas do próprio contexto. Se você não permitiria que dados não auditados alimentassem seu mecanismo de negociação, não permita que um contexto não auditado entre em seu modelo.
O impacto na arquitetura de infraestrutura
Então, o que tudo isso significa para a sua arquitetura? Porque você sabe que isso significa alguma coisa.
Principais conclusões
- Coloque a política no caminho. Gateways e proxies de camada 7 já fazem parte do fluxo. Torne-os cientes da inferência. Inspecione prompts, filtre saídas, classifique dados e aplique limites por aplicativo e por usuário que sejam realmente relevantes para os modelos.
- Use DPUs para manter a latência sob controle. Se você espera descriptografar, classificar, inspecionar e aplicar políticas em tempo de execução sem descarregar o processamento, acabará trocando segurança por desempenho numa sexta-feira à noite e fingindo, na segunda-feira, que foi uma decisão bem ponderada.
- Trate o contexto como uma cadeia de suprimentos. Padronize a forma como ele é montado, rotule-o, valide-o antes do uso e registre sua procedência. O MCP ajuda, mas somente se for combinado com recursos de observabilidade e aplicação de políticas capazes de detectar e impedir o uso indevido do contexto.
A descoberta mais significativa de nossa pesquisa mais recente é simplesmente que a inferência agora é uma carga de trabalho de primeira classe. Ela opera sobre a mesma infraestrutura que executa todo o resto, mas traz novos riscos que seus “reflexos de API” não abrangem por completo.
Torne a infraestrutura mais inteligente, transfira o processamento pesado para as DPUs e controle o contexto, não apenas a chamada. As equipes que fizerem isso entregarão mais rápido e dormirão mais tranquilas. As demais aprenderão sobre resiliência da maneira mais difícil.
Sobre o autor
Lori MacVittie é engenheira distinta e evangelista-chefe no Escritório do CTO da F5, com ampla experiência em entrega de aplicações, estratégia de automação e infraestrutura. Ela é conhecida por transformar complexidade em clareza, seja definindo diretrizes para agentes de IA, analisando arquiteturas multinuvem frágeis ou investigando os limites de sistemas escaláveis. Ela acumula mais de trinta anos de experiência no setor, abrangendo desenvolvimento de aplicações, arquitetura de TI e operações de redes e sistemas. Antes de ingressar na F5, atuou como editora de tecnologia e recebeu diversos prêmios. MacVittie tem mestrado em Ciência da Computação e é uma autora prolífica, com publicações que abrangem segurança, nuvem e arquitetura empresarial. Ela também é uma entusiasta de jogos de tabuleiro e videogames, além de ter opiniões assumidamente fortes sobre queijos.
Mais publicações de Lori Mac VittiePublicações relacionadas no blog
Por que o roteamento de modelos pode se tornar uma infraestrutura de segurança
A IA agêntica expõe os limites da identidade. Modelos especializados, combinados com roteamento baseado em políticas, vinculam a autoridade à escolha do modelo, reduzindo o raio de impacto e a complexidade da governança.
Top 10 em entrega de aplicações de IA: incapacidade de lidar com a latência
A IA transforma a latência em um problema de confiança, não apenas de desempenho: respostas lentas do “assistente” parecem hesitação ou falha, e prompts e respostas com muitos tokens aumentam a carga de trabalho mesmo em sistemas funcionando normalmente.
As 10 principais ameaças à entrega de aplicações de IA: observabilidade incompleta
A IA não escala sozinha. Sem um plano de controle unificado que elimine as barreiras entre ferramentas e responsabilidades, a inferência se torna a camada mais frágil e que mais exige coordenação.
Habilidades de agentes: um padrão aberto emergente
As skills declaram intenção, mas não impõem controle. A segurança de verdade deve estar nos limites das ferramentas, onde os pensamentos dos agentes se transformam em ações e as políticas podem ser aplicadas.
De pacotes a prompts: a inferência adiciona uma nova camada à pilha
Inferência não é treinamento. Não é experimentação. Não é um exercício de ciência de dados. Inferência é um comportamento de execução em produção e funciona como uma camada de aplicação.
A influência da inferência: APIs, DPUs e o caos do contexto
A inferência de IA está remodelando a infraestrutura, multiplicando APIs, sobrecarregando a capacidade computacional e tornando o contexto mais complexo. Saiba por que uma arquitetura mais inteligente e políticas de execução são essenciais.