Calculateur du chemin de données RAG

La récupération des données s’intercale entre chaque prompt et le GPU. Chiffrez le coût d’un accès lent au stockage objet en temps d’inactivité des accélérateurs.

Chaque requête enrichie par récupération de données effectue un aller-retour entre les représentations vectorielles, un index vectoriel et le stockage objet avant que le GPU puisse commencer à travailler. Ce parcours des données reste invisible dans la plupart des tableaux de bord d’IA — jusqu’à ce que l’on chiffre le coût du temps passé par l’accélérateur à attendre. Ce calculateur relie la latence et le débit du stockage à l’indicateur qui compte : le nombre de secondes-GPU perdues en attente par jour.

01: La charge de recherche documentaire

02: Ce que coûte l’attente

Le parc, déduction faite de l’attente

Le bleu correspond à la génération. L’ambre correspond au temps d’accélérateur passé à l’arrêt derrière le chemin de recherche documentaire.

  • Génération
  • À l’arrêt en attente de recherche documentaire

En savoir plus

Le RAG transforme chaque prompt en charge de stockage : vectoriser la requête, interroger l’index vectoriel, puis récupérer les fragments retenus dans un stockage objet avant qu’un seul token ne soit généré. Les stockages objet ont été conçus pour la durabilité, pas pour une distribution en millisecondes : établissement des connexions, négociations TLS et récupérations séquentielles ajoutent une latence qui se répercute directement sur le délai avant le premier token et, dans les piles bloquantes, sur le temps d’accélérateur inactif. C’est ce même chemin qui détermine la vitesse de diffusion des données d’entraînement et celle de restauration des points de contrôle.

Questions fréquentes

Ce que cela implique

Des calculs de l’usine d’IA à son pilotage

La correction classique consiste à placer une couche de distribution devant le stockage objet : mutualisation et réutilisation des connexions, reprise TLS, optimisation TCP et politiques multi-locataires — la discipline même que les répartiteurs de charge appliquent aux backends web depuis vingt ans, cette fois appliquée à un stockage compatible S3.