Vamos fazer um jogo rápido. Você está gerenciando uma operação global de IA. Um usuário na Alemanha faz uma pergunta simples ao seu chatbot. Para onde essa solicitação deve ser encaminhada?
- Para a GPU disponível mais próxima, onde quer que ela esteja?
- Para o novo modelo extremamente poderoso e incrivelmente caro que você acabou de implantar em um data center nos EUA?
- Para um modelo menor, mais barato, baseado em CPU e hospedado em Frankfurt, perfeitamente capaz de responder à pergunta respeitando as leis de residência de dados?
Se você não tem uma resposta imediata e segura, não está sozinho. Mas provavelmente também está desperdiçando dinheiro e se expondo a riscos. O mecanismo simples e muitas vezes ignorado do roteamento de modelos está rapidamente se tornando a linha divisória entre uma estratégia de IA bem-sucedida e um projeto científico caro e inseguro.
E os dados da nossa pesquisa mais recente mostram que a maioria das organizações está do lado errado dessa linha.
O herói subestimado da stack de IA
Quando perguntamos às pessoas quais são seus maiores desafios ao disponibilizar modelos de IA, os de sempre lideram a lista: segurança e mecanismos de proteção (48%), custo de GPU (43%) e residência de dados (23%). Mas, quando perguntamos sobre o desafio de "rotear o tráfego entre vários modelos ou versões", ele quase passa despercebido, com apenas 13% apontando isso como uma grande preocupação.
Este é um caso clássico de focar nos detalhes e perder de vista o todo.
As organizações não acham que têm um problema de "roteamento"; acham que têm um problema de "custo" ou de "segurança". Na realidade, elas têm um problema de roteamento que está criando seus problemas de custo e segurança. Elas têm as ferramentas (gateways de API, controladores de ingress, service mesh), mas as usam como simples guardas de trânsito, e não como o cérebro estratégico e sensível ao contexto de suas operações de IA.
Como o roteamento estratégico resolve seus maiores desafios de IA
Vamos conectar os pontos. O roteamento inteligente de modelos, que leva em conta o contexto, não se resume a levar uma solicitação do ponto A ao ponto B. Trata-se de levá-la ao ponto B certo com base em custo, segurança, desempenho e conformidade.
Derrotando o dragão dos custos de GPU
O custo e a utilização de GPUs são o segundo maior desafio por um motivo: elas são absurdamente caras. Deixar solicitações simples ocuparem uma GPU de ponta é como usar uma marreta para quebrar uma noz. O roteamento estratégico oferece uma solução direta:
- Roteamento baseado em custo: Direcione as solicitações para o recurso computacional com o melhor custo-benefício. Uma consulta simples pode ser encaminhada a um modelo executado em CPU, reservando as GPUs caras para tarefas complexas e de alto valor.
- Roteamento baseado na utilização: distribua a carga entre todos os recursos disponíveis para maximizar a utilização e eliminar hardware ocioso que gera custos desnecessários.
Sem essa inteligência, você está apenas enviando solicitações aleatoriamente aos seus recursos mais caros.
Construindo um perímetro de segurança de verdade
A segurança é o principal desafio, e por um bom motivo. Como garantir a aplicação de mecanismos de proteção? Como inspecionar prompts em busca de entradas maliciosas? Não basta desejar que uma política exista. É preciso rotear fisicamente (bem, digitalmente) o tráfego por um ponto de aplicação de políticas.
- Aplicação de políticas: Quer submeter um prompt a um mecanismo de proteção? Primeiro, você precisa encaminhar a solicitação para esse serviço específico. Isso é fundamental para implementar a "inspeção de prompts e respostas" que 53% das organizações estão tentando adotar.
- Controle de saída: A única maneira de aplicar "controles de saída em chamadas para provedores externos de modelos" (um controle usado por 62% dos entrevistados) é ter uma camada de roteamento que gerencie e inspecione esse tráfego antes que ele saia da sua rede.
O roteamento estratégico é a diferença entre ter ferramentas de segurança e realmente usá-las de forma eficaz.
A tábua de salvação para a residência de dados
Para os 23% de organizações que enfrentam desafios de residência e soberania de dados, o roteamento de modelos não é apenas um recurso desejável; é uma necessidade de conformidade. O roteamento com reconhecimento de localização geográfica garante que uma solicitação de um usuário na UE seja processada por um modelo executado em um data center na UE, mantendo os dados desse usuário dentro dos limites legais do GDPR.
O verdadeiro culpado: políticas fragmentadas inviabilizam o roteamento inteligente
Então, se o roteamento é essa solução mágica, por que não está funcionando? Porque não dá para executar uma estratégia global com uma mentalidade local.
Nossos dados revelaram uma correlação alarmante (mas nada surpreendente). As organizações que mais enfrentavam dificuldades com esses grandes desafios de IA eram aquelas com uma gestão de políticas fragmentada, em que cada equipe define suas próprias regras ou "interpreta" as diretrizes centrais à sua maneira.
[Missão paralela: leia este tratado sobre a Lei de Conway e sua relação com a expansão da IA e depois se pergunte por que políticas fragmentadas (por equipe) são parte do problema. Pode ir. Eu espero.]
É, não dá para ter uma estratégia de roteamento de modelos coerente, econômica e segura se a sua equipe da costa leste roteia o tráfego de forma diferente da equipe da costa oeste. Isso compromete toda a estratégia. Para realmente aproveitar o poder do roteamento, você precisa de um ponto de controle centralizado que ofereça uma visão global e consistente de todo o tráfego e de todas as políticas.
A maioria das organizações já conta com os recursos técnicos necessários; mais da metade usa gateways de API e controladores de ingress. O que falta é a estratégia.
Já passou (e muito) da hora de parar de ver o roteamento como um mero detalhe operacional e começar a tratá-lo como a alavanca estratégica que determinará o sucesso ou o fracasso de todo o seu investimento em IA.
Sobre o autor
Lori MacVittie é engenheira distinta e evangelista-chefe no Escritório do CTO da F5, com ampla experiência em entrega de aplicações, estratégia de automação e infraestrutura. Ela é conhecida por transformar complexidade em clareza, seja definindo diretrizes para agentes de IA, analisando arquiteturas multinuvem frágeis ou investigando os limites de sistemas escaláveis. Ela acumula mais de trinta anos de experiência no setor, abrangendo desenvolvimento de aplicações, arquitetura de TI e operações de redes e sistemas. Antes de ingressar na F5, atuou como editora de tecnologia e recebeu diversos prêmios. MacVittie tem mestrado em Ciência da Computação e é uma autora prolífica, com publicações que abrangem segurança, nuvem e arquitetura empresarial. Ela também é uma entusiasta de jogos de tabuleiro e videogames, além de ter opiniões assumidamente fortes sobre queijos.
Mais publicações de Lori Mac VittiePublicações relacionadas no blog
O segredo para escalar a IA é superar a Lei de Conway
A IA não escala sozinha. Sem um plano de controle unificado que elimine as barreiras entre ferramentas e responsabilidades, a inferência se torna a camada mais frágil e que mais exige coordenação.
Por que o roteamento de modelos pode se tornar uma infraestrutura de segurança
A IA agêntica expõe os limites da identidade. Modelos especializados, combinados com roteamento baseado em políticas, vinculam a autoridade à escolha do modelo, reduzindo o raio de impacto e a complexidade da governança.
Seu próximo SRE pode ser uma máquina
O controle está se concentrando no ponto de intenção: prompts, tokens e roteamento. O desafio arquitetural é definir onde a IA pode agir, quando deve se abster e como reverter suas ações.
Top 10 de entrega de aplicações de IA: controles de tráfego insuficientes
Limites de taxa e mecanismos de limitação tradicionais não capturam o verdadeiro raio de impacto. As cargas de trabalho de IA se distribuem entre modelos, bancos de dados vetoriais e serviços, provocando picos de latência, falhas em cascata e novas tentativas.
A inferência agora é o centro de gravidade operacional
Operações multimodelo e automação orientada por APIs transferem o controle para as camadas de tempo de inferência — prompt, tokens/controles, roteamento e moderação —, nas quais custos, riscos e desempenho precisam ser gerenciados.
De pacotes a prompts: a inferência adiciona uma nova camada à pilha
Inferência não é treinamento. Não é experimentação. Não é um exercício de ciência de dados. Inferência é um comportamento de execução em produção e funciona como uma camada de aplicação.