Simulateur économique du routage des modèles
Découvrez comment l’acheminement des requêtes vers le niveau de modèle approprié influe sur les coûts, la latence et la qualité.
Toutes les requêtes ne nécessitent pas le plus grand modèle. Ce simulateur compare les stratégies de routage sur la base de vos requêtes réelles et montre la valeur ajoutée d’un routage fondé sur des règles.
01: Trafic
02: Répartition des requêtes
Les parts sont normalisées automatiquement si leur somme n’atteint pas 100.
03: Niveaux de modèles
Coût par million de tokens, latence moyenne et score de qualité (de 0 à 100) pour chaque niveau.
Correspondance entre la répartition des requêtes et les niveaux de modèles
Affectation de chaque type de requête par le routage piloté par politiques et coût mensuel de chaque voie.
| Type de requête | Partager | Routé vers | Coût mensuel |
|---|---|---|---|
| Questions-réponses simples | 30 % | Petit | 675,00 $US/mois |
| Synthèse | 15 % | Petit | 337,50 $US/mois |
| Développement | 15 % | Intermédiaire | 1,58 k $US/mois |
| RAG | 20 % | Intermédiaire | 2,1 k $US/mois |
| Raisonnement complexe | 10 % | Grand | 12 k $US/mois |
| Utilisation d’outils par les agents | 10 % | Intermédiaire | 1,05 k $US/mois |
En savoir plus
Toutes les requêtes n’exigent pas le modèle le plus grand ni le plus coûteux. Le routage des modèles peut améliorer l’économie du service en associant chaque requête au modèle approprié selon le coût, la latence, la qualité, les politiques et la disponibilité. En production, les décisions de routage doivent aussi tenir compte de l’état de santé de l’infrastructure, des politiques par locataire et des exigences de niveau de service.
Questions fréquentes
Des calculs de l’usine d’IA à son pilotage
Le routage des modèles n’est qu’une composante du plan de service IA. L’IA à très grande échelle exige aussi le contrôle du trafic, la sécurité, l’observabilité, la gouvernance des locataires et l’application des politiques.