Simulador económico del enrutamiento de modelos
Descubre cómo influye enrutar las solicitudes al nivel de modelo adecuado en el coste, la latencia y la calidad.
No todas las solicitudes necesitan el modelo más grande. Este simulador compara estrategias de enrutamiento con tu combinación real de solicitudes y muestra el valor que aporta el enrutamiento basado en políticas.
01: Tráfico
02: Mezcla de solicitudes
Las proporciones se normalizan automáticamente si no suman 100.
03: Niveles de modelo
Coste por 1M de tokens, latencia media y puntuación de calidad (0 a 100) para cada nivel.
Correspondencia entre la mezcla de solicitudes y los niveles de modelo
Cómo asigna el enrutamiento basado en políticas cada tipo de solicitud y cuánto cuesta cada vía al mes.
| Tipo de solicitud | Proporción | Enrutado a | Coste mensual |
|---|---|---|---|
| Preguntas y respuestas simples | 30 % | Pequeño | 675,00 US$/mes |
| Resumen | 15 % | Pequeño | 337,50 US$/mes |
| Programación | 15 % | Mediano | 1,58 mil US$/mes |
| RAG | 20 % | Mediano | 2,1 mil US$/mes |
| Razonamiento complejo | 10 % | Grande | 12 mil US$/mes |
| Uso agéntico de herramientas | 10 % | Mediano | 1,05 mil US$/mes |
Más información
No todas las solicitudes necesitan el modelo más grande o más caro. El enrutamiento de modelos puede mejorar la economía asignando cada solicitud al modelo adecuado según coste, latencia, calidad, políticas y disponibilidad. En producción, las decisiones de enrutamiento también deben tener en cuenta el estado de la infraestructura, las políticas por inquilino y los requisitos de nivel de servicio.
Preguntas frecuentes
De las cuentas de la fábrica de IA al control de la fábrica de IA
El enrutamiento de modelos es solo una parte del plano de servicio de IA. La IA a hiperescala también exige control del tráfico, seguridad, observabilidad, gobierno de inquilinos y aplicación de políticas.