AIファクトリー歩留まり計算ツール

トークンあたりのコスト、GPUの有効処理量、メガワット時あたりのトークン数、活用されていないAI処理能力を測定します。

AIインフラの評価基準は、もはや導入したGPUの数だけではありません。提供した有用なトークン数、達成したレイテンシー、消費電力、創出した利益も評価基準となります。この計算ツールを使って、AIファクトリーがGPU、電力、支出をどれだけ効率的にAIの出力に変換しているかを試算できます。

01: AIファクトリーの規模

現在運用している推論キャパシティを入力してください。

02: コストの前提

このキャパシティを稼働させ続けるためのコストです。

AIファクトリー歩留まりのギャップ

理論キャパシティはGPUが生み出しうる量であり、実配信出力は実際にワークロードに届いた量です。その差が、費用を払っている遊休AIキャパシティです。

理論上のGPUキャパシティ46.1万 tok/s
実配信トークン出力30.4万 tok/s
← 遊休AIキャパシティ
  • 理論値
  • 実配信
  • 遊休

詳細情報

GPUは有用な出力を生み出して初めて価値を持ちます。本番の推論環境では、キューイング、リクエスト分散の偏り、レイテンシ目標、コールドキャパシティ、リトライ、過剰プロビジョニング、テナントの断片化によって、理論上のGPUキャパシティのうち実際のAI出力として配信される割合が低下します。

よくあるご質問

この先に見えてくること

AIファクトリーの試算から、AIファクトリーの制御へ

有用なAI出力を指標とするなら、トラフィック制御、オブザーバビリティ、ポリシー、セキュリティは本番環境の要件になります。AIサービスプレーンは、アプリケーション、エージェント、モデル、データ、GPUインフラ全体にわたってAIトラフィックを制御・保護・観測・最適化する手段を事業者に提供します。