토큰당 비용 계산기
처리량, 사용률, GPU 비용, 전력 및 플랫폼 오버헤드를 바탕으로 100만 토큰을 생성하는 데 드는 비용을 추정해 보세요.
토큰당 비용은 인프라 지출을 AI 산출량과 연결하는 지표입니다. 처리 용량과 비용에 대한 가정값을 입력하면 실제 제공되는 토큰 하나당 비용과 가동률 변화가 해당 비용에 미치는 영향을 확인할 수 있습니다.
01: 용량
02: 비용
가동률별 1M 토큰당 비용
AI 팩토리 비용은 대부분 시간당 고정비입니다. 가동률이 높아지면 같은 지출이 더 많은 산출 토큰에 분산됩니다. 현재 가동률은 진한 막대로 표시되어 있습니다.
US$3.3가동률 30%
US$2.5가동률 40%
US$2.0가동률 50%
US$1.7가동률 60%
US$1.4가동률 70%
US$1.2가동률 80%
US$1.1가동률 90%
자세히 보기
토큰당 비용은 인프라 지출과 AI 산출물을 연결합니다. GPU 시간당 비용도 중요하지만, 더 중요한 질문은 그 지출로 환경이 얼마나 많은 유용한 토큰을 산출할 수 있는가입니다. 산출 처리량과 가동률이 높아지면 GPU를 늘리지 않고도 토큰당 비용이 낮아집니다.
자주 묻는 질문
이것이 향하는 방향
AI 팩토리 산수에서 AI 팩토리 제어로
토큰당 비용을 낮추는 것은 모델 선택만의 문제가 아니라 인프라 제어의 문제입니다. 트래픽이 GPU 용량 전반에서 어떻게 라우팅되고, 큐에 쌓이고, 캐싱되고, 배치되는지가 지출 가운데 얼마가 산출물이 되는지를 결정합니다.