학습 및 파인 튜닝 실행 시뮬레이터
실패, 체크포인트, 그 사이에 손실되는 작업량까지 반영해 실제 학습 실행에 드는 비용을 산정하세요.
학습 실행은 시작과 끝, 예산이 정해진 프로젝트이며, 클러스터 규모에서는 끊임없이 중단됩니다. 장애가 발생할 때마다 마지막 체크포인트 이후의 모든 작업이 사라지고, 체크포인트를 저장할 때마다 시간이 소요됩니다. 이 시뮬레이터는 예정대로 진행될 때의 학습 비용과 실제 진행 과정에서 발생하는 비용, 그리고 이후 파인튜닝 작업의 비용을 산정합니다.
01: 계획 기준 실행
02: 장애 및 체크포인트
중단은 규모에 비례해 발생하며, 한 번마다 마지막 체크포인트 이후의 작업을 잃습니다.
학습 실행의 GPU 시간이 쓰이는 곳
파란색은 생산적인 학습, 주황색은 체크포인트 쓰기, 빨간색은 장애와 재시작으로 잃은 작업입니다.
- 생산적 학습
- 체크포인트 쓰기
- 장애로 인한 손실
자세히 보기
학습은 동기식 프로젝트입니다. 수천 개의 가속기가 보조를 맞춰 전진하므로 장애 하나가 전체를 멈춰 세우고, 복구는 모든 GPU를 마지막 체크포인트로 되돌리는 것을 의미합니다. 그래서 체크포인트 쓰기 속도와 재적재 속도라는 두 개의 스토리지 수치가 곧 학습 속도 수치가 되며, 장애 간격은 아무도 데이터시트에 적지 않는 가장 값비싼 통계가 됩니다.
자주 묻는 질문
이것이 향하는 방향
AI 팩토리 산수에서 AI 팩토리 제어로
체크포인트 쓰기와 복원 속도는 데이터 전달의 문제입니다. 클러스터 전체가 스토리지 경로의 속도에 맞춰 멈춰 섭니다. 학습 데이터를 적재할 때도 마찬가지입니다. 데이터 파이프라인이 병목이 되면 스토리지 경보가 아니라 유휴 가속기로 나타납니다.