トークンあたりのコスト計算ツール
スループット、使用率、GPUコスト、電力、プラットフォームのオーバーヘッドに基づいて、100万トークンの生成コストを見積もります。
トークンあたりのコストは、インフラへの支出とAIの出力を結び付ける指標です。キャパシティとコストの想定値を入力すると、提供されるトークン1つあたりのコストと、稼働率の変化がそのコストに与える影響を確認できます。
01: キャパシティ
02: コスト
稼働率別の100万トークンあたりコスト
AIファクトリーのコストの大半は時間あたり固定費です。稼働率が高いほど、同じ支出がより多くの実配信トークンに配分されます。現在の稼働率は濃い色の棒で示されています。
$3.3稼働率30%
$2.5稼働率40%
$2.0稼働率50%
$1.7稼働率60%
$1.4稼働率70%
$1.2稼働率80%
$1.1稼働率90%
詳細情報
トークンあたりコストは、インフラ支出とAI出力を結び付ける指標です。GPUの時間単価も重要ですが、より本質的な問いは、その支出から環境がどれだけ有用なトークンを配信できるかです。実配信スループットと稼働率を高めれば、GPUを増やさずともトークンあたりコストを下げられます。
よくあるご質問
この先に見えてくること
AIファクトリーの試算から、AIファクトリーの制御へ
トークンあたりコストの削減は、モデル選定だけの問題ではありません。インフラ制御の問題です。トラフィックがGPUキャパシティ上でどのようにルーティング、キューイング、キャッシュ、配置されるかが、支出のうちどれだけが実配信出力になるかを決めます。