Calculateur du chemin de données RAG
La récupération des données s’intercale entre chaque prompt et le GPU. Chiffrez le coût d’un accès lent au stockage objet en temps d’inactivité des accélérateurs.
Chaque requête enrichie par récupération de données effectue un aller-retour entre les représentations vectorielles, un index vectoriel et le stockage objet avant que le GPU puisse commencer à travailler. Ce parcours des données reste invisible dans la plupart des tableaux de bord d’IA — jusqu’à ce que l’on chiffre le coût du temps passé par l’accélérateur à attendre. Ce calculateur relie la latence et le débit du stockage à l’indicateur qui compte : le nombre de secondes-GPU perdues en attente par jour.
01: La charge de recherche documentaire
02: Ce que coûte l’attente
Le parc, déduction faite de l’attente
Le bleu correspond à la génération. L’ambre correspond au temps d’accélérateur passé à l’arrêt derrière le chemin de recherche documentaire.
- Génération
- À l’arrêt en attente de recherche documentaire
En savoir plus
Le RAG transforme chaque prompt en charge de stockage : vectoriser la requête, interroger l’index vectoriel, puis récupérer les fragments retenus dans un stockage objet avant qu’un seul token ne soit généré. Les stockages objet ont été conçus pour la durabilité, pas pour une distribution en millisecondes : établissement des connexions, négociations TLS et récupérations séquentielles ajoutent une latence qui se répercute directement sur le délai avant le premier token et, dans les piles bloquantes, sur le temps d’accélérateur inactif. C’est ce même chemin qui détermine la vitesse de diffusion des données d’entraînement et celle de restauration des points de contrôle.
Questions fréquentes
Des calculs de l’usine d’IA à son pilotage
La correction classique consiste à placer une couche de distribution devant le stockage objet : mutualisation et réutilisation des connexions, reprise TLS, optimisation TCP et politiques multi-locataires — la discipline même que les répartiteurs de charge appliquent aux backends web depuis vingt ans, cette fois appliquée à un stockage compatible S3.