トレーニングとファインチューニングの実行シミュレーター
障害やチェックポイント、チェックポイント間で失われる作業も考慮して、実際の実行状況に即したトレーニングのコストを算出しましょう。
トレーニング実行は、開始と終了、予算があるプロジェクトです。クラスター規模では中断が頻繁に発生します。障害が発生するたびに、直近のチェックポイント以降の作業がすべて失われ、チェックポイントの書き込みにも毎回時間がかかります。このシミュレーターは、予定どおりに実行した場合、実際の状況で実行した場合、そしてその後のファインチューニングジョブにかかるコストを算出します。
01: 計画どおりの実行
02: 障害とチェックポイント
中断は規模に依存して発生し、1回ごとに直前のチェックポイント以降の作業が失われます。
実行におけるGPU時間の内訳
青は生産的な学習、オレンジはチェックポイントの書き込み、赤は障害と再起動によって失われた作業です。
- 生産的な学習
- チェックポイントの書き込み
- 障害による損失
詳細情報
学習は同期的なプロジェクトです。数千基のアクセラレータが歩調を合わせて進むため、1つの障害がそのすべてを停止させ、復旧にはすべてのGPUを直前のチェックポイントまで巻き戻す必要があります。これにより、チェックポイントの書き込み速度と再読み込み速度という2つのストレージ指標が、学習速度の指標になります。そして障害の発生間隔は、データシートには載らないにもかかわらず最も高コストな統計値となります。
よくあるご質問
この先に見えてくること
AIファクトリーの試算から、AIファクトリーの制御へ
チェックポイントの書き込み・復元速度は、データ配送の問題です。クラスター全体がストレージパスの速度に合わせて停止します。学習データの読み込みについても同様で、データパイプラインの供給不足は、ストレージのアラートではなくアクセラレータのアイドルとして現れます。