RAGデータパス計算ツール

すべてのプロンプトとGPUの間には検索処理があります。オブジェクトストレージへのアクセス経路の遅さがアクセラレーターに生む待機時間を、コストに換算してみましょう。

検索拡張のリクエストは毎回、埋め込み、ベクトルインデックス、オブジェクトストレージを往復してから、GPUでの処理が始まります。このデータパスは、ほとんどのAIダッシュボードでは見えません。しかし、その待機に費やされるアクセラレータ時間をコストに換算すると、その影響が見えてきます。この計算ツールは、ストレージのレイテンシとスループットを、重要な指標である1日あたりのGPU待機時間(GPU秒)に結び付けます。

01: 検索ワークロード

02: 待機がもたらすコスト

待機時間を差し引いたフリート

青は生成中を示します。オレンジは、検索パス待ちで停止しているアクセラレータ時間の相当分です。

  • 生成中
  • 検索待ちで停止

詳細情報

RAGはすべてのプロンプトをストレージワークロードに変えます。クエリを埋め込み、ベクトルインデックスを参照し、トークンを1つも生成しないうちにオブジェクトストアから該当チャンクを取得します。オブジェクトストアは耐久性のために設計されたものであり、ミリ秒単位のファンアウトのためではありません。接続確立、TLSハンドシェイク、直列フェッチはいずれもレイテンシを追加し、それは最初のトークンまでの時間に、そしてブロッキング型のスタックではアクセラレータのアイドル時間に直結します。同じパスが、学習データのストリーミング速度とチェックポイントの復元速度も決定づけます。

よくあるご質問

この先に見えてくること

AIファクトリーの試算から、AIファクトリーの制御へ

定番の解決策は、オブジェクトストアの前段にデリバリー層を置くことです。コネクションプーリングと再利用、TLSセッション再開、TCP最適化、マルチテナントポリシーなど、ロードバランサーが20年にわたってWebバックエンドに適用してきたのと同じ手法を、S3互換ストレージに向けて適用します。