トークンあたりのコスト計算ツール

スループット、使用率、GPUコスト、電力、プラットフォームのオーバーヘッドに基づいて、100万トークンの生成コストを見積もります。

トークンあたりのコストは、インフラへの支出とAIの出力を結び付ける指標です。キャパシティとコストの想定値を入力すると、提供されるトークン1つあたりのコストと、稼働率の変化がそのコストに与える影響を確認できます。

01: キャパシティ

02: コスト

稼働率別の100万トークンあたりコスト

AIファクトリーのコストの大半は時間あたり固定費です。稼働率が高いほど、同じ支出がより多くの実配信トークンに配分されます。現在の稼働率は濃い色の棒で示されています。

$3.3
稼働率30%
$2.5
稼働率40%
$2.0
稼働率50%
$1.7
稼働率60%
$1.4
稼働率70%
$1.2
稼働率80%
$1.1
稼働率90%

詳細情報

トークンあたりコストは、インフラ支出とAI出力を結び付ける指標です。GPUの時間単価も重要ですが、より本質的な問いは、その支出から環境がどれだけ有用なトークンを配信できるかです。実配信スループットと稼働率を高めれば、GPUを増やさずともトークンあたりコストを下げられます。

よくあるご質問

この先に見えてくること

AIファクトリーの試算から、AIファクトリーの制御へ

トークンあたりコストの削減は、モデル選定だけの問題ではありません。インフラ制御の問題です。トラフィックがGPUキャパシティ上でどのようにルーティング、キューイング、キャッシュ、配置されるかが、支出のうちどれだけが実配信出力になるかを決めます。