Simulador de execuções de treinamento e ajuste fino

Calcule o custo de uma execução de treinamento como ela realmente acontece: com falhas, checkpoints e trabalho perdido entre eles.

Uma execução de treinamento é um projeto com início, fim e orçamento — e, em escala de cluster, sofre interrupções constantes. Cada falha descarta todo o trabalho realizado desde o último checkpoint, e salvar cada checkpoint leva tempo. Este simulador calcula o custo da execução conforme planejada, da execução como ela realmente acontece e dos trabalhos de ajuste fino que vêm depois.

01: A execução, conforme programada

02: Falhas e checkpoints

As interrupções dependem da escala, e cada uma custa o trabalho feito desde o último checkpoint.

Para onde vai o tempo de GPU da execução

Azul é treinamento produtivo. Âmbar é escrita de checkpoints. Vermelho é trabalho perdido em falhas e reinícios.

  • Treinamento produtivo
  • Escrita de checkpoints
  • Perdido em falhas

Mais informações

O treinamento é um projeto síncrono: milhares de aceleradores avançam em sincronia, de modo que uma única falha paralisa todos eles, e a recuperação significa retroceder cada GPU ao último checkpoint. Isso transforma dois números de armazenamento em números de velocidade de treinamento—a rapidez com que um checkpoint é gravado e a rapidez com que ele é recarregado—e faz do intervalo entre falhas a estatística mais cara que ninguém coloca na ficha técnica.

Perguntas frequentes

Aonde isso leva

Da matemática da fábrica de IA ao controle da fábrica de IA

A velocidade de escrita e restauração de checkpoints é um problema de entrega de dados: todo o cluster para no ritmo do caminho de armazenamento. O mesmo vale para o carregamento dos próprios dados de treinamento—um pipeline de dados subalimentado aparece como aceleradores ociosos, não como um alerta de armazenamento.