F5 BIG-IP Next for Kubernetesで実現するAI対応のネットワーク トラフィック管理

AI搭載のアプリでコンテンツの下書きや画像を作成したことはありませんか？リクエストを入力してEnterを押し、結果をじっと待ちましたか？ そして、さらに待ちましたか？ ようやく届いた応答は遅く、的外れで、関係のない情報ばかりだった、そんな経験はありませんか？

それがどれほど苛立たしいことであっても、真の問題は裏側で何が起こっているかです。 AI体験を提供する企業は、最適化されたインフラストラクチャを自ら構築するか、GPU-as-a-ServiceやLLM-as-a-Serviceのプロバイダーに委ねる必要があります。

表面上はすべてをシンプルに見せることが、プロバイダーにとって大きな挑戦です。 彼らは裏でGPUを稼働させ、応答時間を短縮し、トークン使用量を管理して、あなたに迅速で信頼できる体験を提供しています。

さらに複雑になるのは、AIインフラの世界で唯一変わらないのが変化であることです。 モデルは急速に進化します。 ワークロードは予告なく急増します。 新しいセキュリティやコンプライアンス、ルーティングのニーズがリリースサイクルより先に生まれることも頻繁にあります。

だからこそ、インテリジェントでプログラム可能なトラフィック管理は単なる「あると便利」なものではありません。 必要不可欠なのです。

NVIDIA BlueField-3 DPU に導入された F5 BIG-IP Next for Kubernetes 2.1で、インテリジェントな負荷分散と高度なプログラマビリティを組み合わせ、AIインフラの特有のニーズに応えながらトラフィック管理を次のレベルへ引き上げます。

従来の負荷分散ではトラフィックが均等に分散されます。 これは Web アプリではうまく機能しますが、AI の場合は必ずしも効率的であるとは限りません。 小さなプロンプトを大量のトークンを多用するリクエストと同じように扱うことはできません。そうしないと、GPU が過負荷になり、推論パイプラインが停止したり、リソースがアイドル状態になったりします。

BIG-IP Next for Kubernetes 2.1は、保留中のリクエストキュー、キー・バリュー（KV）キャッシュ使用状況、GPU負荷、ビデオ用ランダムアクセスメモリ（VRAM）の空き容量、全体のシステム状態を含むリアルタイムのNVIDIA NIMテレメトリを活用し、ロードバランシングをより賢くします。 BIG-IP Next for Kubernetes 2.1は、各リクエストを最適な処理先へインテリジェントかつ迅速にルーティングします。

その影響は明確です。

• 利用率が高いほど、トークンあたりのコストを抑えられます。 最適化されたGPU利用により、CPUの稼働時間を増やし、GPUの遊休時間を減らせます。 その結果、サーバーごとにより多くのテナントを収容でき、過剰なリソース確保を抑制します。
• 応答が速いほど、ユーザーは満足します。 最初のトークンの取得時間（TTFT）と応答遅延を短縮することで、体験は滑らかになり、再試行は減り、利用は増えます。
• より優れた収益化が拡張可能な収益モデルを実現します。 リアルタイムでトークンベースのクォータ強制と階層化を適用し、明確な収益化の境界と予測可能な価格モデルを提供します。

インテリジェンスは効率をもたらしますが、プログラマビリティこそが制御力をもたらします。 BIG-IP Next for Kubernetes 2.1でF5 iRulesによるプログラマビリティを強化し、お客様が主体的に操作できる環境を提供します。新機能のリリースを待たずに、即座に対応可能です。

現在、私たちはLLMルーティング（モデルやバージョン間でリクエストをリアルタイムに制御）、トークンガバナンス（データパス内で直接クォータと課金を管理）、MCPトラフィック管理（AIエージェント間のモデルコンテキストプロトコルトラフィックを拡張かつ安全に運用）といった機能を活用できます。

これはほんの始まりにすぎません。 プログラマビリティの本当の価値は柔軟性にあります。新しいモデルやサービスレベル契約、コンプライアンス要件が生まれるたびに、プロバイダーは既成機能に縛られず、自らポリシーを設計して対応できます。

BIG-IP Next for Kubernetes 2.1は、インテリジェンスとプログラマビリティを組み合わせ、単にパフォーマンスを追求するだけでなく、AIインフラをより予測可能にし、柔軟に対応でき、コスト効率も高めるよう設計しています。

AIクラウドプロバイダがGPU容量をコンピューティング用に、AIモデル用に、もしくは両方に提供する際、過剰な設備投資なしでスケールし、複雑さを伴わずに収益化し、処理速度を落とすことなくセキュリティを強化し、コードの書き換えなくカスタマイズできます。

プロバイダーにとっては、問題解決に費やす時間を減らし、イノベーションと成長に集中できるようになります。 お客様にとっては、より迅速で的確かつ信頼できる応答を実現します。 この舞台裏のインフラが、あらゆる AI インタラクションをスムーズにし、ユーザーを引きつける AI 体験を提供しています。