F5 BIG-IP Next for KubernetesによるAI対応トラフィック管理

F5エコシステム | 2025年9月22日

AI搭載アプリで文章の下書きや画像の生成をしようと、リクエストを入力してEnterキーを押し、待ち続けたことはありませんか？ようやく届いた応答も遅いうえに的外れで、関係のない情報ばかりだったことはないでしょうか？

こうした状況には苛立ちを感じますが、本当に注目すべきなのは、その舞台裏で起きていることです。このようなAI体験を提供する企業は、高度に最適化されたインフラストラクチャを自社で構築するか、GPU-as-a-ServiceやLLM-as-a-Serviceのプロバイダーに構築を委ねる必要があります。

すべてを表面上はシンプルに見せることは、こうしたプロバイダーにとって非常に大きな課題です。高速で信頼性の高いエクスペリエンスを提供するために、舞台裏ではGPUの稼働率を高く保ち、応答時間を短縮し、トークン使用量を管理するという負担を担っています。

“インテリジェンスとプログラマビリティの組み合わせ……その目的は、単なるパフォーマンス向上ではありません。AIインフラストラクチャの予測可能性、適応性、コスト効率の向上を支援するよう設計されています。”

さらに複雑なことに、AIインフラストラクチャの世界で変わらないものは、変化だけです。モデルは急速に進化し、ワークロードは予告なく急増します。また、セキュリティ、コンプライアンス、ルーティングに関する新たなニーズが、リリースサイクルを上回る速さで生じることも少なくありません。

だからこそ、インテリジェントでプログラム可能なトラフィック管理は、単に「あれば便利」なものではなく、不可欠なのです。

With NVIDIA BlueField-3 DPU上に導入されたF5 BIG-IP Next for Kubernetes 2.1により、インテリジェントな負荷分散と拡張されたプログラマビリティを組み合わせ、AIインフラストラクチャ固有の要件に対応することで、トラフィック管理を次のレベルへと引き上げます。

AIの高速化を支える、よりスマートな負荷分散

従来の負荷分散では、トラフィックを均等に振り分けます。これはWebアプリには効果的ですが、AIの場合、均等であることが必ずしも効率的とは限りません。小規模なプロンプトと、大量のトークンを含む大規模なリクエストを同じように扱うことはできません。同じように扱うと、GPUが過負荷になったり、推論パイプラインが停止したり、リソースがアイドル状態になったりする可能性があります。

BIG-IP Next for Kubernetes 2.1は、保留中のリクエストキュー、キー値（KV）キャッシュの使用状況、GPU負荷、ビデオランダムアクセスメモリ（VRAM）の空き容量、システム全体の健全性を含むリアルタイムのNVIDIA NIMテレメトリを活用し、よりスマートな負荷分散を実現します。BIG-IP Next for Kubernetes 2.1は、各リクエストを最適な処理先へインテリジェントかつ迅速にルーティングします。

その効果は明らかです。

使用率の向上は、トークンあたりのコスト削減につながります。GPU使用率を最適化することで、CPUサイクルに余裕が生まれ、GPUのアイドル時間が短縮されます。その結果、サーバーあたりのテナント数が増え、過剰なプロビジョニングを抑えられます。
応答が速ければ、ユーザー満足度も向上します。 初回トークン生成時間（TTFT）と応答レイテンシーを短縮することで、よりスムーズなユーザー体験を実現し、再試行を減らして利用を促進できます。
収益化の向上により、拡張可能な収益モデルを実現できます。トークンベースのクォータ適用とリアルタイムの階層化により、収益化の境界が明確になり、予測可能な料金モデルを構築できます。

変化に対応し続けるプログラマビリティ

インテリジェンスは効率性をもたらしますが、プログラマビリティは制御力をもたらします。F5 iRulesによってプログラマビリティが強化されたBIG-IP Next for Kubernetes 2.1なら、次の機能リリースを待つことなく、お客さま自身が即座に適応できます。

現在は、LLMルーティング（モデルやバージョン間でリクエストをリアルタイムに振り分ける）、トークンガバナンス（データパス上でクォータと課金を直接適用する）、MCPトラフィック管理（AIエージェント間のModel Context Protocolトラフィックをスケーリングし、保護する）といった機能を利用できます。

そして、これはまだ始まりにすぎません。プログラマビリティの真価は、その柔軟性にあります。新たなモデル、サービスレベル契約、コンプライアンス要件が登場しても、プロバイダーは標準機能に制約されることなく、独自のポリシーを策定できます。

BIG-IP Next for Kubernetes 2.1のインテリジェンスとプログラマビリティの組み合わせは、単にパフォーマンスを追求するだけではありません。AIインフラストラクチャの予測可能性、適応性、コスト効率の向上を支援するよう設計されています。

AIクラウドプロバイダーは、コンピューティング向けGPUキャパシティ、AIモデル、またはその両方を提供する場合でも、過剰な構築をせずに拡張し、複雑さを伴わずに収益化し、速度を低下させずにセキュリティを確保し、書き換えずにカスタマイズできるようになりました。

プロバイダーにとっては、目の前の問題への対応に費やす時間を減らし、イノベーションと成長により注力できることを意味します。お客さまにとっては、より迅速で的確、かつ信頼性の高い応答が得られます。こうした舞台裏のインフラストラクチャの成果により、あらゆるAI Interactionがスムーズになり、ユーザーが繰り返し利用したくなるAI体験を提供できます。