多くの組織にとって、Kubernetesは最適なプラットフォームです。コンテナ化されたワークロードのデプロイと管理に利用されています。しかし、AIワークロードは、一貫性と予測可能性が比較的高い一般的なマイクロサービスに比べ、新たなレベルの複雑さをもたらします。こうした課題を認識していないと、コスト超過やリソース利用効率の低下、セキュリティ脆弱性を招く可能性があります。その結果、AIの処理速度が低下し、価値が損なわれ、リスクが増大します。投資を守るには、AIでのKubernetesの活用方法について、よりインテリジェントなアプローチが必要です。
AIでKubernetesを使用する際の課題
AIは従来のワークロードとは異なります。プロンプトは、単純なテキストクエリからマルチメディアを用いた分析まで多岐にわたり、GPUリソースに対する需要も変動します。コンテナのIngress ControllerではGPUの可用性を把握することが難しいため、デフォルトのラウンドロビン方式で分散すると、一部のGPUに負荷が集中する一方で、十分に活用されないGPUも生じます。
AIは、管理がより難しい分散サービスとAPIの複雑なネットワークにも依存しており、攻撃対象領域が広いため、セキュリティの確保も困難です。この複雑さから、AIは格好の標的となっており、サイバー犯罪者はAIモデル自体を攻撃ベクトルとして利用しています。プロンプトインジェクションやモデル操作などの手法は、従来のセキュリティメカニズムを回避してAIから機密データを抽出します。また、攻撃者がAIに誤ったプロンプトを大量に送り付け、モデルの応答性を低下させ、リソースをさらに枯渇させる可能性もあります。従来のKubernetesセキュリティは、このような攻撃への対処を想定して設計されていません。
Kubernetesで真に動的かつ効率的でセキュアなAIを実現するには、AI固有のニーズに対応し、それに応じてワークロードを割り当てるトラフィック管理が必要です。これには、リクエストの複雑さとGPUの可用性を把握することに加え、リソースとAIスループットの非線形な関係を考慮することも含まれます。AIモデルを保護し、不正利用や悪用の侵入口となるのを防ぐには、コンテナネイティブのセキュリティ制御が不可欠です。
Kubernetesで安全かつ最適化されたAIデリバリー
F5ソリューションは、運用、セキュリティ、パフォーマンスのギャップを埋めることで、Amazon Elastic Kubernetes Service（EKS）の導入環境を補完します。
F5 NGINX Ingress Controllerは、AI対応のイングレスと負荷分散を提供します。動的な再構成をサポートし、需要の急増やPod障害が発生した場合も稼働時間の維持に役立ちます。また、ブルーグリーンデプロイやカナリアリリースの戦略、A/Bテストを支援するツールにより、デプロイと最適化をより円滑に進められます。
F5 NGINX App Protectは、軽量なWebアプリケーションファイアウォール（WAF）、レイヤー7の分散型サービス拒否（DDoS）攻撃対策、APIセキュリティを提供します。この製品は、NGINX Ingress ControllerとともにF5 NGINX Plusの一部としてパッケージ化されており、Kubernetesクラスター内でシームレスに拡張できます。
F5は、Amazon EKS向けにAIを考慮したトラフィック管理と保護を提供します。
Kubernetesを分散AIに対応させる
F5 AI Gatewayは、ハイブリッドマルチクラウド環境全体のKubernetesでAIサービスを円滑に運用するためのもう1つの選択肢です。セマンティックキャッシュなど、AI対応のトラフィック管理機能を活用できます。セマンティックキャッシュは、類似するリクエストに対してプロンプトの応答を再利用することで、重複処理を最小限に抑え、トークン消費を節約します。
多層的な保護により、AI特有の脅威に対処します。OWASP Top 10 for LLMsに対応するとともに、外部への応答における機密データの漏えいやハルシネーションを防止します。AI Gatewayは、OpenAI、Anthropic、Ollamaなどの主要なAIプラットフォームに加え、HTTPベースの言語モデルもサポートし、導入場所を問わず一貫した保護を提供します。
F5 AI Gatewayは、ハイブリッドマルチクラウド環境全体でのAIデリバリーを簡素化します。
AIを考慮したアプローチで、より優れた成果を実現
F5ソリューションをAmazon EKSと組み合わせて導入することで、インテリジェントなトラフィック管理が可能になり、モデルの応答時間を短縮するとともに、AI固有の脅威から保護できます。ほかにも、次のようなメリットがあります。
- AIを考慮したワークロード分散。 最小時間ロードバランシングとアクティブヘルスチェックにより、AIリクエストを最も応答性の高いサービスに振り分けます。
- 包括的なオブザーバビリティ。F5ソリューションは、プロンプト量、トークン使用量、推論レイテンシ、モデルのパフォーマンス統計などの主要なメトリクスを可視化し、最適化の取り組みを支援します。
- トラフィック保護 レート制限によりリソースの不正使用を防止し、サーキットブレーカーにより障害を分離します。また、リクエストバッファリングはトラフィックの急増への対処に役立ちます。
- AI固有の脅威の緩和。 組み込みの保護機能により、機密データの漏えいを防ぎながら、AIモデルへの攻撃をブロックします。
- ID管理とアクセス制御JSON Web Tokens、OpenID Connect、ロールベースのアクセス制御（RBAC）に対応し、許可されたユーザーとサービスのみがAIエンドポイントにアクセスできるようにします。
Kubernetes上のAIワークロードを今すぐ最適化
AIでは、どのような最適化も見逃せません。F5ソリューションは、AWS、オンプレミス、ハイブリッドマルチクラウドのいずれの環境でも一貫して機能し、KubernetesにおけるAI特有の課題に対応します。
AIを円滑かつ安定的に稼働させ、現在および将来の脅威に対する保護を強化します。競争が激しく変化し続ける環境では、優位性を一つひとつ確保することが、AIプロジェクトの成功に近づく一歩となります。
詳しくは「Amazon Web Services（AWS）におけるF5」をご覧ください。
著者について
関連するブログ記事
チュートリアル：NGINXを使用してアプリケーション向けにOpenTelemetryを構成する
OpenTelemetryを使用してNGINXサーバーの状態と健全性をより明確に把握することで、問題のトラブルシューティングを行い、Webアプリケーションのパフォーマンスを向上できます。
AkitaのNGINX Plus認定モジュールでAPIエンドポイントの問題を特定・修正
Akita SoftwareのAPIオブザーバビリティ向け新しいNGINX Plus Certified Moduleを活用して、APIエンドポイントの問題をより迅速に特定し、修正できます。
JavaプロジェクトをスキャフォールディングしてKubernetesネイティブアプリを構築する方法
Red HatのシニアプリンシパルデベロッパーアドボケイトであるDaniel Oh氏が、Javaプロジェクトをゼロから構築するためのひな形を作成し、Kubernetesネイティブアプリケーションとしてビルドする方法を解説します。
F5 NGINXaaS for Azureのご紹介：Microsoft Azureでネイティブに利用できるSaaS型ロードバランシング
NGINXaaS for Azureは、NGINX PlusをAzureネイティブのSaaSとして利用できるサービスです。NGINXの設定を容易にリフト＆シフトできるため、クラウド導入とモダンアプリの展開を加速できます。
SELinuxでNGINXおよびNGINX Plusを使用する
Red Hat Enterprise Linux（RHEL）および関連ディストリビューションでSecurity-Enhanced Linux（SELinux）を有効にすると、デフォルト設定によりNGINXとNGINX Plusの一部の操作が制限されます。この記事では、すべての機能を利用できるようにSELinuxの設定を変更する方法について説明します。
NGINX PlusによるAWS Auto Scalingグループの負荷分散
新しいnginx-asg-sync統合ソフトウェアにより、NGINX PlusはAWS Auto Scalingグループの負荷を直接分散できるため、クラウドでの負荷分散がさらに柔軟になります