簡単なゲームをしてみましょう。グローバルにAIを運用しているとします。ドイツのユーザーがチャットボットに簡単な質問をしました。このリクエストはどこに送るべきでしょうか？
- 所在地を問わず、利用可能な最も近いGPUに送りますか？
- 米国のデータセンターに導入したばかりの、極めて高性能で非常に高価な新しいモデルへ？
- それとも、データレジデンシーに関する法律を遵守しながら、その質問に十分に回答できる、フランクフルトでホストされている小規模で低コストのCPUベースのモデルに送りますか？
すぐに自信を持って答えられなくても、そうした状況にあるのはお客さまだけではありません。ただし、資金を浪費し、リスクにさらされている可能性も高いといえます。シンプルでありながら見過ごされがちなモデルルーティングの仕組みが、AI戦略の成功と、コストがかさみセキュリティにも不安が残る実験的なプロジェクトとの明暗を分ける要因に急速になりつつあります。
また、F5の最新の調査データによると、大半の組織はその境界線の望ましくない側に位置しています。
AIスタックの過小評価されている立役者
AIモデルの提供における最大の課題を尋ねると、上位にはセキュリティとガードレール（48%）、GPUコスト（43%）、データレジデンシー（23%）というおなじみの項目が並びます。一方、「複数のモデルやバージョン間でのトラフィックのルーティング」という課題について尋ねると、主な懸念事項として挙げた回答者はわずか13%で、ほとんど注目されていません。
これはまさに「木を見て森を見ず」の典型例です。
組織は、自らが抱えているのは「ルーティング」の問題ではなく、「コスト」や「セキュリティ」の問題だと考えています。しかし実際には、ルーティングの問題がコストやセキュリティの問題を生み出しています。APIゲートウェイ、Ingressコントローラー、サービスメッシュといったツールは備えているものの、AI運用においてコンテキストを把握する戦略的な頭脳としてではなく、単なる交通整理役として使っています。
戦略的ルーティングでAIの最大の課題を解決する方法
ここまでの話をつなげてみましょう。コンテキストを認識するインテリジェントなモデルルーティングは、単にリクエストを地点Aから地点Bへ送るだけのものではありません。コスト、セキュリティ、パフォーマンス、コンプライアンスに基づき、適切な地点Bへ送ることが重要です。
GPUコストという難敵を攻略
GPUのコストと使用率が2番目に大きな課題となっているのには理由があります。GPUは驚くほど高価だからです。単純なリクエストに最上位のGPUを占有させるのは、クルミを割るのに大ハンマーを使うようなものです。戦略的なルーティングは、この課題を直接解決する手段となります。
- コストベースのルーティング：リクエストを最もコスト効率の高いコンピューティングリソースに振り分けます。単純なクエリはCPUベースのモデルに送ることで、高価なGPUを複雑で価値の高いタスクのために確保できます。
- 使用率ベースのルーティング：利用可能なすべてのリソースに負荷を分散し、使用率を最大化するとともに、稼働せずコストだけがかかるハードウェアをなくします。
このインテリジェンスがなければ、最も高価な資産にリクエストを無作為に送るだけになってしまいます。
真のセキュリティ境界の構築
セキュリティが最大の課題であるのには、十分な理由があります。ガードレールをどのように適用するのでしょうか。プロンプトに悪意のある入力が含まれていないか、どのように検査するのでしょうか。ポリシーは、願うだけで実現するものではありません。物理的に（正確にはデジタル上で）、トラフィックがポリシーの適用ポイントを通過するようにルーティングする必要があります。
- ポリシーの適用：プロンプトにガードレールを適用するには、まずリクエストをそのサービスにルーティングする必要があります。これは、53%の組織が導入を進めている「プロンプトと応答の検査」を実装するための基本となります。
- エグレス制御：「外部モデルプロバイダーへのアウトバウンド呼び出しに対するエグレス制御」（回答者の62%が使用している制御）を適用する唯一の方法は、トラフィックがネットワークの外に出る前に、そのトラフィックを管理・検査するルーティング層を設けることです。
戦略的ルーティングの有無が、セキュリティツールを単に保有しているだけなのか、それとも実際に効果的に活用しているのかを分けます。
データレジデンシーの生命線
データレジデンシーとデータ主権に課題を抱える23%の組織にとって、モデルルーティングは単にあると便利な機能ではなく、コンプライアンス上の必須要件です。地理情報に基づくルーティングにより、EU内のユーザーからのリクエストは確実にEU内のデータセンターで稼働するモデルで処理され、ユーザーのデータはGDPRが定める法的な範囲内に保持されます。
真の原因：分断されたポリシーがスマートルーティングを阻害
では、ルーティングがこれほど魔法のような解決策なら、なぜうまく機能しないのでしょうか。それは、ローカルな視点ではグローバルな戦略を実行できないからです。
F5のデータから、憂慮すべき（ただし、驚くには当たらない）相関関係が明らかになりました。こうした主要なAIの課題に最も苦慮していたのは、ポリシー管理が分断され、各チームが独自のルールを定めたり、全体のガイドラインを独自に「解釈」したりしている組織でした。
［少し寄り道：コンウェイの法則とAIの規模拡大との関係を論じたこちらの論考を読んで、チームごとに分断されたポリシーがなぜ問題の一因となるのか、考えてみてください。どうぞ、読み終わるまでお待ちしています。］
東海岸と西海岸のチームでトラフィックのルーティング方法が異なっていては、一貫性があり、コストを削減でき、セキュリティを確保したモデルルーティング戦略は実現できません。戦略全体が成り立たなくなるためです。ルーティングの力を真に活用するには、すべてのトラフィックとポリシーを一貫した視点で包括的に把握できる、一元化された制御ポイントが必要です。
ほとんどの組織には、必要な技術的能力がすでに備わっています。半数以上がAPIゲートウェイとIngressコントローラーを使用しています。足りないのは戦略です。
ルーティングを単なる運用上の細部と捉えるのは、もう終わりにすべきです。本来なら、AI投資全体の成否を左右する戦略的な手段として、もっと早くから位置づけるべきでした。
著者について
Lori MacVittieは、F5のOffice of the CTOに所属するDistinguished Engineer兼Chief Evangelistであり、アプリケーションデリバリ、自動化戦略、インフラストラクチャに関する深い専門知識を有しています。AIエージェントのガードレール策定、脆弱なマルチクラウドアーキテクチャの分析、スケーラブルなシステムの限界の検証など、複雑な事柄を明快にすることで知られています。アプリケーション開発、ITアーキテクチャ、ネットワークおよびシステム運用の分野で、30年以上にわたる業界経験を有しています。F5入社前は、受賞歴のあるテクノロジー編集者として活躍していました。 MacVittieはコンピューターサイエンスの修士号を取得しており、セキュリティ、クラウド、エンタープライズアーキテクチャにわたる分野で多数の著作を発表しています。また、テーブルトークゲームとビデオゲームをこよなく愛し、チーズについては遠慮なく強いこだわりを語ります。
Lori Mac Vittieのその他のブログ記事関連するブログ記事
AIのスケーリングを成功させる鍵は、コンウェイの法則を乗り越えること
AIは、それ自体ではスケールしません。ツールや管理責任の境界を統合する一元的なコントロールプレーンがなければ、推論は最も脆弱で、調整負荷の高い階層になります。
モデルルーティングがセキュリティインフラになり得る理由
エージェント型AIは、アイデンティティ管理の限界を浮き彫りにします。特化型モデルとポリシーベースのルーティングを組み合わせることで、権限をモデルの選択に結び付け、影響範囲とガバナンスの複雑さを軽減します。
次のSREはマシンかもしれない
制御は、意図を示すプロンプト、トークン、ルーティングに集約されつつあります。アーキテクチャ上の課題は、AIがどこまで動作できるか、いつ判断を委ねる必要があるか、そしてどのように元に戻せるかを定義することです。
AIアプリケーションデリバリーのトップ10：不十分なトラフィック制御
従来のレート制限やスロットリングでは、実際の影響範囲を捉えきれません。AIワークロードはモデル、ベクトルストア、サービスへと処理を分散させるため、レイテンシの急増、連鎖的な障害、再試行を引き起こします。
推論が今、運用の中心に
マルチモデル運用とAPI駆動型の自動化により、制御の重点はプロンプト、トークン／制御、ルーティング、モデレーションといった推論時のレイヤーへと移り、そこでコスト、リスク、パフォーマンスを管理する必要があります。
パケットからプロンプトへ：推論がスタックに新たなレイヤーを追加
推論はトレーニングでも、実験でも、データサイエンスの演習でもありません。推論は本番環境におけるランタイムの動作であり、アプリケーション層と同様に機能します。