Simulator für Trainings- und Fine-Tuning-Läufe
Kalkulieren Sie die Kosten eines Trainingslaufs so, wie er tatsächlich abläuft: mit Ausfällen, Checkpoints und der dazwischen verlorenen Arbeit.
Ein Trainingslauf ist ein Projekt mit einem Anfang, einem Ende und einem Budget – und im Clusterbetrieb wird er ständig unterbrochen. Bei jedem Ausfall geht die gesamte Arbeit seit dem letzten Checkpoint verloren, und das Schreiben jedes Checkpoints kostet Zeit. Dieser Simulator berechnet die Kosten für den geplanten Trainingslauf, seinen tatsächlichen Verlauf und die anschließenden Fine-Tuning-Jobs.
01: Der Lauf, wie geplant
02: Ausfälle und Checkpoints
Unterbrechungen hängen von der Größenordnung ab, und jede kostet die Arbeit seit dem letzten Checkpoint.
Wohin die GPU-Zeit des Laufs fließt
Blau steht für produktives Training. Bernstein für das Schreiben von Checkpoints. Rot für Arbeit, die durch Ausfälle und Neustarts verloren geht.
- Produktives Training
- Schreiben von Checkpoints
- Durch Ausfälle verloren
Weitere Informationen
Training ist ein synchrones Vorhaben: Tausende Beschleuniger schreiten im Gleichschritt voran, ein einziger Ausfall legt also alle still, und die Wiederherstellung bedeutet, jede GPU auf den letzten Checkpoint zurückzusetzen. Damit werden zwei Speicherkennzahlen zu Kennzahlen der Trainingsgeschwindigkeit – wie schnell ein Checkpoint geschrieben und wie schnell er wieder geladen wird – und das Ausfallintervall wird zur teuersten Kennzahl, die niemand ins Datenblatt schreibt.
Häufig gestellte Fragen
Von der KI-Fabrik-Rechnung zur KI-Fabrik-Steuerung
Die Schreib- und Wiederherstellungsgeschwindigkeit von Checkpoints ist ein Problem der Datenbereitstellung: Der gesamte Cluster steht im Takt des Speicherpfads still. Dasselbe gilt für das Laden der Trainingsdaten – eine unterversorgte Datenpipeline zeigt sich als ungenutzte Beschleuniger, nicht als Speicherwarnung.