F5 NGINX PlusがAIクラスターを支える仕組み

Liam Crillyプロダクトマネジメント担当シニアディレクター

過去10年間、NGINX Open Sourceは世界で最も広く利用されているWebサーバーの1つであり、市場シェアで上位を占めるアプリケーションデリバリーソリューションでもあります。小規模なスタートアップや学術研究プロジェクトから世界最大級のWebアプリケーションまで、幅広い環境でロードバランシングとリバースプロキシを支えてきました。

NGINXは、アプリケーションデリバリの定番となったのと同様に、AIアプリケーションのトレーニングと提供を支える重要な要として、いつの間にか広く利用されるようになりました。Intel OpenVINO Model Server、NVIDIA Morpheus、MetaのvLLM、NVIDIA Tritonなど、主要なAIフレームワーク、ツールキット、ライブラリ、プラットフォームには、F5 NGINX Plus（およびNGINX Open Source）向けのネイティブ設定が用意されており、gRPC/HTTPプロキシ、SSL/TLS終端、ヘルスチェックに対応した負荷分散、動的な再構成をすぐに利用できます。Kubernetesクラスター上で稼働する多くのAIサービスやソリューションでは、モデルトレーニングと推論の両方において、AIクラスターに出入りするトラフィックを管理するための推奨オプションの1つとして、F5 NGINX Ingress Controllerが挙げられています。詳しく見てみると、AIが利用されているほぼあらゆる場所でNGINXが稼働していることがわかります。

幅広いAIユースケースにおいて、NGINXはAIスタックを支える重要な役割を担っています。基盤モデルのファインチューニング、LLMからのトークン出力のストリーミング、リアルタイム異常検知エンドポイントへのリクエストのルーティングなど、さまざまな場面ですでにNGINXが通信経路に組み込まれている可能性があります。

AIチームがNGINX Plusを選ぶ理由

• KubernetesネイティブのIngress: 現在、ほとんどのAIプラットフォームはKubernetes上で稼働しており、Run:ai、KServe、Ray Serveなどのツールでは、NGINXが引き続きデフォルトまたは推奨のIngressとして採用されています。AIアプリがハイブリッド、マルチクラウド、エッジ環境へと拡大する中、NGINX Gateway Fabricは、軽量なフットプリントときめ細かなトラフィック制御を備えた、KubernetesネイティブのGateway API実装を提供します。これにより、メッシュの複雑さを加えることなく、AIチームはルーティング、再試行、オブザーバビリティをより適切に制御できます。
• 大規模環境での動的なロールアウト：AI推論ワークロードでは、多くの場合、慎重なバージョン管理とゼロダウンタイムが求められる、価値の高いGPU依存のセッションを扱います。NGINXは、動的な設定の再読み込み、重み付けトラフィック分割、アクティブヘルスチェックをサポートしているため、処理中のセッションを中断したり、GPUキューを過負荷にしたりすることなく、新しいモデルバージョンを安全にロールアウトできます。
• 本番環境に対応したAPI処理：Triton、vLLM、OpenVINOなどのモデルサーバーは、高速かつ構造化された通信にgRPCまたはHTTP/2を使用します。NGINXは、これらのプロトコルに対する成熟した高性能なサポートに加え、コネクションの再利用、セッション維持、TLS終端、リクエストバッファリングを提供します。これらはいずれも、突発的に増加する、または長時間継続するAI推論トラフィックの処理に不可欠です。
• 運用管理: NGINX Plusでは、RESTfulな設定更新、稼働中のアップストリーム管理、エンタープライズグレードのWebアプリケーションファイアウォール（WAF）などの高度な機能を利用できます。複数のクラスターにまたがる数十～数百のNGINXインスタンスを管理するチーム向けに、F5 NGINX Oneは、設定、健全性、セキュリティポリシーを一元管理するコンソールを提供します。アクセス要件やリスクプロファイルが異なる複数のモデルタイプやAIユースケースをサポートするチームに最適です。
• F5 AI Gateway：AIワークロード専用に設計されたAI Gatewayは、セキュリティを最優先するAIトラフィックへのアプローチによってNGINXを拡張します。プロンプトインジェクションや有害な出力に対するカスタマイズ可能な保護機能に加え、レート制限と使用量クォータを備えており、GPUリソースが限られた環境でのスクレイピング、フラッディング、制御不能なクエリの防止に役立ちます。推論ルートごとに異なるセキュリティルールを適用できます。たとえば、生成モデルにはより厳格なポリシーを適用しながら、ベクトルAPIにはより緩やかなポリシーを適用できます。すべてのトラフィックをトークン単位またはリクエスト単位でログに記録し、オブザーバビリティパイプラインに取り込んで、監査要件への対応を支援できます。

主要なAIフレームワーク、ツール、マネージドサービスがNGINXと連携

NGINXは、主要なAIOpsスタック、ツール、マネージドサービスの多くで、デフォルトのイングレスとして選択される製品の1つです。

AIフレームワーク

NGINXの活用方法

実用上のメリット

Intel OpenVINO Model Serve F5とIntelによるデモでは、モデルシャードをNGINX Plusの背後にデプロイしています（YouTube）。1つのゲートウェイで、CPU、GPU、VPUの各バックエンドにルーティングできます。NVIDIA Triton Helmチャートにより、gRPCアクセス用のNGINX Plus IngressとともにTritonをインストールできます（GitHub）。HTTP/2多重化により、GPU使用率を高く維持できます。NVIDIA Morpheus 「How I Did It」ガイドでは、NGINX Plus Ingressを介してMorpheusを保護する方法を説明しています（F5 Community）。リアルタイムのセキュリティ推論の前段で、TLSオフロードと適応型WAFを提供します。NVIDIA（XLIO） NVIDIA Accelerated IO（XLIO）上にNGINXをデプロイするためのガイド（docs.nvidia.com）。OpenSSL対応のビルド手順とサンプルファイルを含め、TLSオフロードの強化とパフォーマンスチューニングについて説明しています。Meta vLLM 公式ドキュメントでは、NGINXを介して複数のvLLMインスタンスの負荷を分散する方法を説明しています（vLLM）。テキスト生成エンドポイントを迅速に水平スケーリングできます。

MLOpsチームは、マイクロサービスやAPI（いずれもAIの導入に不可欠です）を管理するチームがNGINXを採用してきたのと同じ理由から、NGINX製品を容易に導入できます。NGINXは軽量かつモジュール式で、可搬性に優れ、さまざまな環境で大量のトークンを処理できます。AI開発者や機械学習エンジニアは、一般的なAI構成を立ち上げる際に、プラットフォームチームまたはMLOpsチームが構成したコンテナイメージを取得し、NGINXをその一部としてデプロイできます。NGINXは、主要なプラットフォームやプロセッサアーキテクチャの多くでハードウェアアクセラレーションと統合できます。

NGINXをデフォルトの選択肢として挙げるAIコンポーネントは、低レベルのGPUスケジューリングから、高レベルのモデルサービング、デプロイのオーケストレーション、エンタープライズグレードのガバナンスまで、AIインフラストラクチャの全領域にわたります。これらは、推論エンドポイントへのトラフィックの安全なルーティング、スケーラブルで効率的なモデル配信、マルチテナントクラスターへのアクセス管理、バージョン管理、監査、規制遵守に関する運用ポリシーの適用など、NGINXが幅広いユースケースをどのようにサポートするかを示しています。

• KServe：デプロイガイドでは、推論サービスのルーティングに既存のNGINX Ingress Controllerドメインを使用することを前提としています。
• Ray Serve：ドキュメントには、ダッシュボードとモデルエンドポイントを公開するためにNGINX Ingress Controllerを構成する手順が記載されています。
• Seldon Core v2：本番環境へのデプロイに関する章では、カナリアトラフィックやシャドウトラフィックのシナリオを含め、Helmを使用してNGINX Ingress Controllerをセットアップする方法について説明しています。
• Run:ai：前提条件には、マルチテナントでGPUを共有するKubernetesクラスター向けに検証済みのIngress ControllerとしてNGINXが記載されています。
• AWS SageMaker：ドキュメントでは、NGINXとGunicornをカスタム推論コンテナのフロントエンドとして使用する例を紹介しています。
• Azure AKS：Microsoftは、クラスター内のイングレストラフィック向けに、組み込みですぐに利用できるマネージドNGINX Ingress Controllerを提供しています。
• DataRobot：インストール手順では、EKS上のPortable Prediction ServersへのパスベースルーティングにNGINX Ingress Controller（v4.0.0以降）を使用することを推奨しています。

NGINXがMLOps導入への道筋を整備

これらのプラットフォームとツールを組み合わせることで、低レベルのGPUスケジューリングから、高レベルのモデルサービング、デプロイのオーケストレーション、エンタープライズグレードのガバナンスまで、AIインフラストラクチャの全領域をカバーします。また、推論エンドポイントへのトラフィックの安全なルーティング、スケーラブルで効率的なモデル配信、マルチテナントクラスターへのアクセス管理、バージョン管理、監査、規制遵守に関する運用ポリシーの適用など、NGINXが幅広いユースケースをどのようにサポートするかを示しています。このリストは今後も拡大していきます。次世代のAIネイティブ企業がNGINXを活用して何を生み出すのか、期待が高まります。

AIのスケーリングを支援するF5 NGINX One.

著者について

Liam Crillyプロダクトマネジメント担当シニアディレクター

Liam Crillyのその他のブログ記事