モデルルーティングの経済性シミュレーター
リクエストを適切なモデル階層にルーティングすることで、コスト、レイテンシ、品質にどのような影響があるかをご確認ください。
すべてのリクエストに最大規模のモデルが必要なわけではありません。このシミュレーターは、実際のリクエスト構成に基づいてルーティング戦略を比較し、ポリシーベースのルーティングの価値を示します。
01: トラフィック
02: リクエスト構成
合計が100にならない場合、割合は自動的に正規化されます。
03: モデル階層
各階層の100万トークンあたりコスト、平均レイテンシ、品質スコア(0〜100)です。
リクエスト構成とモデル階層の対応
ポリシーベースのルーティングが各リクエストタイプをどう割り当て、各経路が月間いくらかかるかを示します。
| リクエストタイプ | 共有 | ルーティング先 | 月間コスト |
|---|---|---|---|
| 単純なQ&A | 30% | 小規模 | $675.00/月 |
| 要約 | 15% | 小規模 | $337.50/月 |
| コーディング | 15% | 中規模 | $1575/月 |
| RAG | 20% | 中規模 | $2100/月 |
| 複雑な推論 | 10% | 大規模 | $1.2万/月 |
| エージェンティックなツール利用 | 10% | 中規模 | $1050/月 |
ベースライン:全トラフィックをプレミアムモデルへ$12万/月
ポリシーベースのルーティング$1.77万/月
コスト最適化時の下限$2250/月
詳細情報
すべてのリクエストに、最大規模あるいは最も高価なモデルが必要なわけではありません。モデルルーティングは、コスト、レイテンシ、品質、ポリシー、可用性に基づいて各リクエストを適切なモデルに割り当てることで、経済性を改善できます。本番環境では、ルーティングの判断にインフラの健全性、テナントポリシー、サービスレベル要件も考慮する必要があります。
よくあるご質問
この先に見えてくること
AIファクトリーの試算から、AIファクトリーの制御へ
モデルルーティングは、AIサービスプレーンの一部にすぎません。ハイパースケールのAIには、トラフィック制御、セキュリティ、オブザーバビリティ、テナントガバナンス、ポリシーの適用も必要です。