Simulador de custos de roteamento de modelos

Veja como o roteamento de solicitações para o nível de modelo adequado afeta o custo, a latência e a qualidade.

Nem toda solicitação precisa do maior modelo. Este simulador compara estratégias de roteamento com base no seu conjunto real de solicitações e mostra o valor do roteamento baseado em políticas.

01: Tráfego

02: Mix de requisições

As parcelas são normalizadas automaticamente caso não somem 100.

03: Níveis de modelo

Custo por 1M de tokens, latência média e pontuação de qualidade (0 a 100) para cada nível.

Mapeamento do mix de requisições para os níveis de modelo

Como o roteamento por política atribui cada tipo de requisição e quanto cada trilha custa por mês.

Tipo de requisiçãoParcelaRoteado paraCusto mensal
Perguntas e respostas simples30%PequenoUS$ 675,00/mês
Sumarização15%PequenoUS$ 337,50/mês
Programação15%MédioUS$ 1,58 mil/mês
RAG20%MédioUS$ 2,1 mil/mês
Raciocínio complexo10%GrandeUS$ 12 mil/mês
Uso agêntico de ferramentas10%MédioUS$ 1,05 mil/mês
Sua referência: Todo o tráfego para o modelo premiumUS$ 120 mil/mês
Roteamento por políticaUS$ 17,74 mil/mês
Piso otimizado para custoUS$ 2,25 mil/mês

Mais informações

Nem toda requisição precisa do modelo maior ou mais caro. O roteamento de modelos pode melhorar a economia ao direcionar cada requisição ao modelo adequado com base em custo, latência, qualidade, política e disponibilidade. Em produção, as decisões de roteamento também precisam considerar a saúde da infraestrutura, a política de inquilinos e os requisitos de nível de serviço.

Perguntas frequentes

Aonde isso leva

Da matemática da fábrica de IA ao controle da fábrica de IA

O roteamento de modelos é uma parte do plano de serviço de IA. A IA em hiperescala também exige controle de tráfego, segurança, observabilidade, governança de inquilinos e aplicação de políticas.