セマンティックキャッシュとトークン予算の計算ツール
料金を明示した2つのゲートウェイ層の制御機能。モデルの代わりにキャッシュから回答を提供し、予算設定で支出の暴走を未然に防ぎます。
AIゲートウェイは、すべての利用者とすべてのモデルの間に位置するため、コストを制御する2つの仕組みを1か所に集約できます。1つは、GPUを使わずに繰り返し寄せられる質問に回答するセマンティックキャッシュ。もう1つは、チーム、テナント、エージェントごとのトークン消費量に上限を設けるトークン予算です。この計算ツールでは、両方のコスト効果を試算できます。
01: トラフィック
02: キャッシュ
セマンティックキャッシュは完全一致の文字列ではなく意味を照合します。「パスワードをリセットしたい」と「パスワードはどう変更しますか」は、1つの回答を共有できます。
ゲートウェイに到達する100件のリクエスト
緑のリクエストはセマンティックキャッシュから応答され、青のリクエストはモデルまで到達します。
- キャッシュから応答
- モデルへ送信
詳細情報
ゲートウェイは、モデルより先にすべてのリクエストを確認できる唯一のコンポーネントであり、これら2つの制御を可能にします。セマンティックキャッシュはリクエストの意味を直近の回答と照合し、生成せずに一致する応答を返します。トークン予算はチーム、テナント、エージェント単位で消費量を計測し、翌月の請求書ではなくリクエストパス上で上限を適用します。いずれもモデルの下流では実現できず、アプリケーションごとに実装しても信頼性は確保できません。
よくあるご質問
この先に見えてくること
AIファクトリーの試算から、AIファクトリーの制御へ
この配置により、ゲートウェイパターンの他の機能も実現できます。モデルやプロバイダーをまたぐルーティング、エンドポイント劣化時のフェイルオーバー、すべての利用者に対する単一の監査証跡であり、いずれも最初のGPUサイクルより上流で実現されます。