Ingress ControllerでKubernetes上のAI/MLワークロードをスケーリング、保護、監視

NGINX | 2024年2月22日

Ilya Krutovシニアプロダクトマーケティングマネージャー | F5 NGINX

AIおよび機械学習（AI/ML）ワークロードは、企業の業務運営とイノベーションのあり方に変革をもたらしています。Kubernetesは、コンテナのオーケストレーションと管理における事実上の標準であり、ハイブリッドおよびマルチクラウド環境全体で、スケーラブルな大規模言語モデル（LLM）ワークロードと推論モデルを稼働させるために選ばれているプラットフォームです。

Kubernetesでは、Ingressコントローラーがコンテナ化されたアプリケーションの配信とセキュリティ確保において重要な役割を果たします。Kubernetesクラスターのエッジにデプロイされ、ユーザーとアプリケーション間の通信を処理する中核拠点として機能します。

このブログでは、IngressコントローラーとF5 NGINX Connectivity Stack for Kubernetesが、AI/MLワークロードのモデルサービング、実験、監視、セキュリティの簡素化と効率化にどのように役立つかを解説します。

AI/MLモデルを本番環境に大規模展開

AI/MLモデルを大規模にデプロイする際、Kubernetesに標準搭載されている機能は、次のことに役立ちます。

AI/MLアプリケーションのリリースライフサイクルを迅速化し、簡素化します。
異なる環境間でAI/MLワークロードを移行できるようにします。
コンピューティングリソースの利用効率と経済性を向上させます。
スケーラビリティを確保し、本番環境への対応を実現します。
ビジネス上のSLAを満たすように環境を最適化します。

同時に、組織は本番環境でAI/MLモデルを大規模に提供、実験、監視、保護するうえで、次のような課題に直面する可能性があります。

複雑化とツールの乱立により、組織がオンプレミス、クラウド、エッジのKubernetes環境を構成、運用、管理、自動化し、トラブルシューティングすることが困難になります。
ユーザーエクスペリエンスの低下：Podの障害や再起動、自動スケーリング、極端に高いリクエストレートなどの動的イベントに起因する接続タイムアウトやエラーによって、ユーザーエクスペリエンスが低下します。
パフォーマンスの低下、ダウンタイムに加え、集約レポートや、詳細なリアルタイム指標および履歴指標の不足により、複雑なKubernetes環境でのトラブルシューティングに時間と手間がかかること。
サイバーセキュリティ脅威にさらされる重大なリスク従来のセキュリティモデルは疎結合の分散アプリケーションを保護するように設計されていないため、ハイブリッド、マルチクラウドのKubernetes環境では、このリスクが生じます。

エンタープライズクラスのIngressコントローラー（F5 NGINX Ingress Controllerなど）は、こうした課題の解決に役立ちます。Ingressコントローラー、ロードバランサー、APIゲートウェイの機能を統合した1つのツールを活用することで、Kubernetesの実行環境を問わず、大規模環境で稼働時間、保護、可視性を向上できます。さらに、複雑さと運用コストも軽減できます。

NGINX Ingress Controllerは、業界をリードするF5のレイヤー7アプリケーション保護テクノロジーとも緊密に統合できます。このテクノロジーは、LLMアプリケーションに対するOWASP Top 10サイバー脅威の軽減に役立ち、AI/MLワークロードをDoS攻撃から保護します。

AI/MLワークロードにおけるIngress Controllerのメリット

Ingress Controllerは、以下の機能により、本番環境でのAI/MLワークロードのデプロイと運用を簡素化し、効率化できます。

モデルサービング – Kubernetesネイティブの負荷分散、自動スケーリング、レート制限、動的再構成機能により、アプリを中断なく提供します。
モデルの実験 – ブルーグリーンデプロイ、カナリアデプロイ、A/Bテストを実装し、ダウンタイムなしで新しいバージョンやアップグレードを展開します。
モデルの監視 – モデルのメトリクスを収集、可視化、分析し、アプリの健全性とパフォーマンスをより的確に把握します。
モデルセキュリティ – ユーザーID、認証、認可、ロールベースのアクセス制御、暗号化機能を設定し、サイバーセキュリティの脅威からアプリを保護します。

NGINX Connectivity Stack for Kubernetesには、NGINX Ingress ControllerとF5 NGINX App Protectが含まれており、AI/MLアプリケーションを実行するKubernetesクラスターとそのユーザーの間で、オンプレミスとクラウドの両方において高速で信頼性が高く、セキュアな通信を実現します。あらゆるKubernetes環境でモデルのサービング、実験、監視、セキュリティを簡素化・効率化するとともに、クラウドプロバイダーやパッケージ済みのKubernetes製品の機能を強化し、大規模環境でより高度な保護、可用性、オブザーバビリティを実現するのに役立ちます。