Simulateur économique du routage des modèles

Découvrez comment l’acheminement des requêtes vers le niveau de modèle approprié influe sur les coûts, la latence et la qualité.

Toutes les requêtes ne nécessitent pas le plus grand modèle. Ce simulateur compare les stratégies de routage sur la base de vos requêtes réelles et montre la valeur ajoutée d’un routage fondé sur des règles.

01: Trafic

02: Répartition des requêtes

Les parts sont normalisées automatiquement si leur somme n’atteint pas 100.

03: Niveaux de modèles

Coût par million de tokens, latence moyenne et score de qualité (de 0 à 100) pour chaque niveau.

Correspondance entre la répartition des requêtes et les niveaux de modèles

Affectation de chaque type de requête par le routage piloté par politiques et coût mensuel de chaque voie.

Type de requêtePartagerRouté versCoût mensuel
Questions-réponses simples30 %Petit675,00 $US/mois
Synthèse15 %Petit337,50 $US/mois
Développement15 %Intermédiaire1,58 k $US/mois
RAG20 %Intermédiaire2,1 k $US/mois
Raisonnement complexe10 %Grand12 k $US/mois
Utilisation d’outils par les agents10 %Intermédiaire1,05 k $US/mois
Votre référence : Tout le trafic vers le modèle premium120 k $US/mois
Routage piloté par politiques17,74 k $US/mois
Plancher optimisé en coût2,25 k $US/mois

En savoir plus

Toutes les requêtes n’exigent pas le modèle le plus grand ni le plus coûteux. Le routage des modèles peut améliorer l’économie du service en associant chaque requête au modèle approprié selon le coût, la latence, la qualité, les politiques et la disponibilité. En production, les décisions de routage doivent aussi tenir compte de l’état de santé de l’infrastructure, des politiques par locataire et des exigences de niveau de service.

Questions fréquentes

Ce que cela implique

Des calculs de l’usine d’IA à son pilotage

Le routage des modèles n’est qu’une composante du plan de service IA. L’IA à très grande échelle exige aussi le contrôle du trafic, la sécurité, l’observabilité, la gouvernance des locataires et l’application des politiques.