Simulador económico del enrutamiento de modelos

Descubre cómo influye enrutar las solicitudes al nivel de modelo adecuado en el coste, la latencia y la calidad.

No todas las solicitudes necesitan el modelo más grande. Este simulador compara estrategias de enrutamiento con tu combinación real de solicitudes y muestra el valor que aporta el enrutamiento basado en políticas.

01: Tráfico

02: Mezcla de solicitudes

Las proporciones se normalizan automáticamente si no suman 100.

03: Niveles de modelo

Coste por 1M de tokens, latencia media y puntuación de calidad (0 a 100) para cada nivel.

Correspondencia entre la mezcla de solicitudes y los niveles de modelo

Cómo asigna el enrutamiento basado en políticas cada tipo de solicitud y cuánto cuesta cada vía al mes.

Tipo de solicitudProporciónEnrutado aCoste mensual
Preguntas y respuestas simples30 %Pequeño675,00 US$/mes
Resumen15 %Pequeño337,50 US$/mes
Programación15 %Mediano1,58 mil US$/mes
RAG20 %Mediano2,1 mil US$/mes
Razonamiento complejo10 %Grande12 mil US$/mes
Uso agéntico de herramientas10 %Mediano1,05 mil US$/mes
Su referencia: Todo el tráfico al modelo premium120 mil US$/mes
Enrutamiento basado en políticas17,74 mil US$/mes
Mínimo optimizado en coste2,25 mil US$/mes

Más información

No todas las solicitudes necesitan el modelo más grande o más caro. El enrutamiento de modelos puede mejorar la economía asignando cada solicitud al modelo adecuado según coste, latencia, calidad, políticas y disponibilidad. En producción, las decisiones de enrutamiento también deben tener en cuenta el estado de la infraestructura, las políticas por inquilino y los requisitos de nivel de servicio.

Preguntas frecuentes

Adónde conduce esto

De las cuentas de la fábrica de IA al control de la fábrica de IA

El enrutamiento de modelos es solo una parte del plano de servicio de IA. La IA a hiperescala también exige control del tráfico, seguridad, observabilidad, gobierno de inquilinos y aplicación de políticas.