Simulador de custos de roteamento de modelos
Veja como o roteamento de solicitações para o nível de modelo adequado afeta o custo, a latência e a qualidade.
Nem toda solicitação precisa do maior modelo. Este simulador compara estratégias de roteamento com base no seu conjunto real de solicitações e mostra o valor do roteamento baseado em políticas.
01: Tráfego
02: Mix de requisições
As parcelas são normalizadas automaticamente caso não somem 100.
03: Níveis de modelo
Custo por 1M de tokens, latência média e pontuação de qualidade (0 a 100) para cada nível.
Mapeamento do mix de requisições para os níveis de modelo
Como o roteamento por política atribui cada tipo de requisição e quanto cada trilha custa por mês.
| Tipo de requisição | Parcela | Roteado para | Custo mensal |
|---|---|---|---|
| Perguntas e respostas simples | 30% | Pequeno | US$ 675,00/mês |
| Sumarização | 15% | Pequeno | US$ 337,50/mês |
| Programação | 15% | Médio | US$ 1,58 mil/mês |
| RAG | 20% | Médio | US$ 2,1 mil/mês |
| Raciocínio complexo | 10% | Grande | US$ 12 mil/mês |
| Uso agêntico de ferramentas | 10% | Médio | US$ 1,05 mil/mês |
Mais informações
Nem toda requisição precisa do modelo maior ou mais caro. O roteamento de modelos pode melhorar a economia ao direcionar cada requisição ao modelo adequado com base em custo, latência, qualidade, política e disponibilidade. Em produção, as decisões de roteamento também precisam considerar a saúde da infraestrutura, a política de inquilinos e os requisitos de nível de serviço.
Perguntas frequentes
Da matemática da fábrica de IA ao controle da fábrica de IA
O roteamento de modelos é uma parte do plano de serviço de IA. A IA em hiperescala também exige controle de tráfego, segurança, observabilidade, governança de inquilinos e aplicação de políticas.