RAG 데이터 경로 계산기

모든 프롬프트가 GPU에 도달하기까지는 검색 단계를 거칩니다. 느린 오브젝트 스토리지 경로로 인해 가속기가 대기하는 시간을 비용으로 환산해 보세요.

검색 증강 요청은 매번 임베딩, 벡터 인덱스, 객체 스토리지를 거쳐야 GPU가 작업을 시작할 수 있습니다. 대부분의 AI 대시보드에서는 이 데이터 경로가 드러나지 않습니다. 이를 기다리는 데 소모되는 가속기 시간의 비용을 계산해 보기 전까지는 말이죠. 이 계산기는 스토리지 지연 시간과 처리량을 핵심 지표인 일일 GPU 대기 시간(초)으로 환산합니다.

01: 검색 워크로드

02: 대기의 비용

플릿에서 대기 시간을 뺀 값

파란색은 생성 중인 구간입니다. 주황색은 검색 경로에서 대기하느라 소모된 가속기 시간에 해당합니다.

  • 생성 중
  • 검색 대기로 정지

자세히 보기

RAG는 모든 프롬프트를 스토리지 워크로드로 바꿉니다. 토큰이 하나라도 생성되기 전에 쿼리를 임베딩하고, 벡터 인덱스를 조회하고, 선택된 청크를 오브젝트 스토어에서 가져와야 합니다. 오브젝트 스토어는 밀리초 단위 팬아웃이 아니라 내구성을 위해 설계되었습니다. 커넥션 설정, TLS 핸드셰이크, 직렬 페치는 모두 지연 시간을 더하고, 이는 곧바로 첫 토큰까지의 시간에, 차단형 스택에서는 유휴 가속기 시간에 반영됩니다. 같은 경로가 학습 데이터 스트리밍 속도와 체크포인트 복원 속도도 결정합니다.

자주 묻는 질문

이것이 향하는 방향

AI 팩토리 산수에서 AI 팩토리 제어로

전형적인 해법은 오브젝트 스토어 앞에 전달 계층을 두는 것입니다. 커넥션 풀링과 재사용, TLS 세션 재개, TCP 최적화, 멀티테넌트 정책을 적용합니다. 로드 밸런서가 20년간 웹 백엔드에 적용해 온 바로 그 방식을 S3 호환 스토리지에 적용하는 것입니다.