Calculadora de la ruta de datos de RAG
La recuperación de datos se interpone entre cada prompt y la GPU. Calcula cuánto cuesta una ruta lenta de acceso al almacenamiento de objetos en tiempo de inactividad del acelerador.
Cada solicitud con recuperación aumentada recorre un trayecto de ida y vuelta a través de embeddings, un índice vectorial y el almacenamiento de objetos antes de que la GPU pueda empezar a trabajar. Ese recorrido de los datos es invisible en la mayoría de los paneles de IA, hasta que se calcula el coste del tiempo que el acelerador pasa esperando. Esta calculadora relaciona la latencia y la tasa de transferencia del almacenamiento con la cifra que importa: los segundos de GPU en espera al día.
01: La carga de trabajo de recuperación
02: Lo que cuestan las esperas
La flota, descontadas las esperas
El azul es generación. El ámbar es el tiempo de acelerador equivalente perdido en espera de la ruta de recuperación.
- Generando
- Detenido esperando la recuperación
Más información
RAG convierte cada prompt en una carga de trabajo de almacenamiento: vectorizar la consulta, consultar el índice vectorial y después recuperar los fragmentos ganadores de un almacén de objetos antes de generar un solo token. Los almacenes de objetos se diseñaron para la durabilidad, no para la distribución en milisegundos: el establecimiento de conexiones, los handshakes TLS y la recuperación en serie añaden latencia que repercute directamente en el tiempo hasta el primer token y, en pilas bloqueantes, en tiempo de acelerador inactivo. Esa misma ruta determina la velocidad a la que fluyen los datos de entrenamiento y a la que se restauran los checkpoints.
Preguntas frecuentes
De las cuentas de la fábrica de IA al control de la fábrica de IA
La solución clásica es una capa de entrega delante del almacén de objetos: agrupación y reutilización de conexiones, reanudación de TLS, optimización de TCP y políticas multiinquilino, la misma disciplina que los balanceadores de carga llevan veinte años aplicando a los backends web, ahora orientada al almacenamiento compatible con S3.