Simulador de ejecuciones de entrenamiento y ajuste fino

Calcula el coste de una ejecución de entrenamiento tal y como ocurre en la práctica: con fallos, puntos de control y el trabajo perdido entre ellos.

Una ejecución de entrenamiento es un proyecto con un inicio, un final y un presupuesto, y a escala de clúster sufre interrupciones constantes. Cada fallo supone perder todo el trabajo realizado desde el último punto de control, y guardar cada punto de control lleva tiempo. Este simulador calcula el coste de la ejecución según lo previsto, de cómo transcurre realmente y de los trabajos de ajuste fino posteriores.

01: La ejecución, según lo planificado

02: Fallos y checkpoints

Las interrupciones dependen de la escala y cada una cuesta el trabajo realizado desde el último checkpoint.

Adónde va el tiempo de GPU de la ejecución

El azul es entrenamiento productivo. El ámbar es la escritura de checkpoints. El rojo es el trabajo perdido por fallos y reinicios.

  • Entrenamiento productivo
  • Escritura de checkpoints
  • Perdido por fallos

Más información

El entrenamiento es un proyecto síncrono: miles de aceleradores avanzan al unísono, de modo que un único fallo los detiene todos, y la recuperación obliga a retroceder cada GPU hasta el último checkpoint. Eso convierte dos cifras de almacenamiento en cifras de velocidad de entrenamiento (la rapidez con la que se escribe un checkpoint y la rapidez con la que se recarga) y hace del intervalo entre fallos la estadística más cara que nadie incluye en la hoja de datos.

Preguntas frecuentes

Adónde conduce esto

De las cuentas de la fábrica de IA al control de la fábrica de IA

La velocidad de escritura y restauración de los checkpoints es un problema de entrega de datos: todo el clúster se detiene al ritmo de la ruta de almacenamiento. Lo mismo ocurre con la carga de los propios datos de entrenamiento: una canalización de datos insuficiente se manifiesta como aceleradores inactivos, no como una alerta de almacenamiento.