次なるAIインフラの課題が、単にGPUを増やすことではなく、導入済みのすべてのGPUからより大きな価値を引き出すことだとしたら、どうでしょうか。
組織がAIを実験段階から本番環境へ移行する中、この問いはますます重要になっています。
初期のAIプロジェクトは、多くの場合、コンピューティングリソースの確保から始まります。チームがモデルをテストし、アプリケーションを構築して、その価値を実証するには、GPUの処理能力が必要です。しかし、AIサービスがより多くのユーザー、アプリケーション、テナント、モデルへと拡大するにつれて、インフラストラクチャの課題も変化します。
本番環境のAIは、単なるコンピューティングの問題ではありません。効率、ガバナンス、ルーティング、コストの問題であり、さらにビジネス上の問題としての重要性も増しています。
この点に重点を置いているのが、最新の「F5 BIG-IP Next for Kubernetes 2.3.0 release」です。
このリリースでは、本番環境規模のAI推論に向けて、AI最適化機能が強化されました。BIG-IP Next for Kubernetes 2.3.0は、AIトラフィック最適化の主要機能をネイティブかつ本番環境対応のインフラストラクチャに組み込むことで、重複するAIコンピューティング処理の削減、GPU使用率の向上、モデルやサービス間でのリクエストのインテリジェントなルーティング、ユーザーやテナントごとのトークン消費量の管理を支援します。
“AIの未来を切り拓くのは、単なるコンピューティング能力ではありません。あらゆるリクエストをよりインテリジェントに処理し、すべてのトークンをより適切に管理し、各GPUの能力を最大限に引き出せる組織です。F5 BIG-IP Next for Kubernetes 2.3.0は、お客さまがその次の一歩を踏み出せるよう支援します。”
このリリースでは、次世代のNVIDIAアクセラレーテッドネットワーキングプラットフォームへの対応も拡充され、x86システム上のConnectX-8 SuperNICに加え、SuperNICモードで動作するConnectX-7およびBlueField-3もサポートされます。
AIトラフィックが制御の要になりつつある
AIが本番環境に移行するにつれ、トラフィック管理は単なる接続性の確保をはるかに超える役割を担うようになります。
1回のリクエストで数千ものトークンが生成される場合があります。また、複数のユーザーやアプリケーションから類似したプロンプトが繰り返し送信されることもあります。リクエストによっては利用可能な最も高性能なモデルが必要ですが、低コストのモデルや特化型AIサービスの方が適している場合もあります。
AIへのリクエストが発生するたびに、判断が必要になります。どこに送るべきか。どのモデルで処理すべきか。コストはいくらか。インフラストラクチャの容量をどの程度消費するか。そして、誰がそれを決定するのか。
こうした判断は、一貫性とインテリジェンスを備え、トラフィック自体に近い場所で行う必要があります。BIG-IP Next for Kubernetes 2.3.0は、よりスマートな制御ポイントの構築を支援し、AIリクエストが高コストのコンピューティングリソースを消費する前に、その処理を最適化します。本番環境のAIで競争力を左右するのは、モデルだけではありません。モデルを取り巻くシステム全体です。
より動的なAIワークフローへの対応に向けて
AIアプリケーションが、単一のプロンプトと応答によるやり取りから、より動的なエージェント型ワークフローへと進化するにつれ、これはさらに重要になります。
このような環境では、複数ステップのプロセスの一環として、AIトラフィックがエージェント、ツール、推論サービス、アプリケーションコンポーネント間を移動する場合があります。そのため、トラフィック制御、アイデンティティコンテキスト、ポリシー適用、セッション継続性、レジリエンスに関する新たな要件が生じます。
組織にとって、その意味は明らかです。本番環境のAIインフラストラクチャには、アプリケーションとモデルを接続する以上の役割が求められます。ますます分散するワークフロー全体で、AIのやり取りのルーティング、ガバナンス、認証、配信を一貫して制御できるポイントを提供する必要があります。
BIG-IP Next for Kubernetes 2.3.0は、強化されたAI最適化機能をネイティブかつ本番環境対応のインフラストラクチャに導入し、その基盤の確立を支援します。AIリクエストのキャッシュ、ルーティング、負荷分散、ガバナンス、アクセラレーションを改善することで、AIトラフィックの分散化と自律化が進み、ビジネスにおける重要性がさらに高まる将来に向けた組織の準備を支援します。
重複するAIコンピューティング処理の削減
AIの経済性を向上させる最も直接的な方法の1つは、コストのかかる同じ処理を何度も繰り返さないことです。
AIの導入が進むにつれ、ユーザーやアプリケーションが類似したプロンプトや同じプロンプトを繰り返し生成することがよくあります。最適化しなければ、類似する応答がすでに生成されている場合でも、リクエストのたびに追加の推論キャパシティを消費する可能性があります。これは無駄です。AI規模では、そのコストが急速に膨らみます。
BIG-IP Next for Kubernetes 2.3.0では、セマンティックAIモデルキャッシュが一般提供機能として導入されました。類似または繰り返しのプロンプトに対する冗長なGPUコンピューティングの削減に役立ち、レイテンシーを低減してGPU効率を高めながら、トークンエコノミクスを改善します。
本番環境の規模では、重複するAI処理が多額の不要なコストにつながる可能性があります。本リリースでは、トラフィックレイヤーでAI推論を効率化することで、この課題の解決を支援します。
GPU使用率とモデル選択の改善
従来の負荷分散は、最新のAI推論の複雑さを想定して設計されたものではありません。
AIワークロードでは、GPU使用率、キューの深さ、モデルの可用性、バックエンドのパフォーマンス、インフラストラクチャのキャパシティなど、新たな変数を考慮する必要があります。次に利用可能なエンドポイントへトラフィックを送信するだけでは不十分です。AIリクエストは、リアルタイムの状況に基づいて、利用可能な最適なリソースへ振り分ける必要があります。
BIG-IP Next for Kubernetes 2.3.0では、インテリジェントなAI負荷分散機能が一般提供されます。リアルタイムのテレメトリとインフラストラクチャの状況認識に基づいてAI推論トラフィックを動的に分散し、GPU使用率の最適化、キューのボトルネックの軽減、応答時間の短縮を支援します。
このリリースでは、大規模言語モデル（LLM）のルーティング統合も一般提供機能として導入されます。これにより、コスト、パフォーマンス、モデルの専門性、運用要件などのポリシーに基づいて、さまざまなLLMやAIサービスにインテリジェントにルーティングできます。
ほとんどの組織では、単一のモデルだけで本番環境のAIを運用することはありません。適切なモデルは、ユースケース、パフォーマンス要件、ビジネスポリシー、コスト特性によって異なります。
最も高性能なモデルが、常に最適とは限りません。用途に対して十分な性能と速度を備え、コスト効率にも優れたモデルを選ぶことが、AI活用における最も賢明な判断となる場合もあります。そのためには、こうした判断にポリシーを適用できるインフラストラクチャが必要です。
トークン消費の管理
トークンは、AIインフラの経済性を左右する最も重要な単位の1つになりつつあります。
トークンは、コスト、キャパシティプランニング、テナントの利用量、パフォーマンスに影響します。また、AIへの期待が財務上の現実に直面し始めるのも、トークンを通じてです。
BIG-IP Next for Kubernetes 2.3.0では、一般提供機能としてトークンガバナンスが導入され、トークンの監視、使用量の計測、レート制限が可能になります。これにより、組織はAIインフラストラクチャのコストをより適切に管理し、ユーザー、アプリケーション、テナント全体にわたって利用ポリシーを適用できます。
ビジネスリーダーにとっては、AIの利用状況をより明確に把握するのに役立ちます。プラットフォームチームにとっては、共有AIインフラストラクチャを実用的な方法で管理できます。
本番AI環境におけるトークンガバナンスは、現代のインフラで最も急速に増大しているコスト要因の1つを、組織が適切に管理するための手段です。
インフラストラクチャの柔軟性を拡大
AIインフラは急速に進化しています。DPUベースのアーキテクチャへ移行する組織がある一方、次世代のネットワークアクセラレーションによってx86システムを最適化する組織もあります。多くの組織は、パフォーマンス、コスト、運用準備状況のバランスを取りながら、段階的にモダナイズを進めています。
BIG-IP Next for Kubernetes 2.3.0では、x86システム上のConnectX-8 SuperNICに対応し、サポート対象ハードウェアを拡充しています。また、このリリースでは、SuperNICモードで動作するConnectX-7およびBlueField-3もサポートしています。
これにより、組織はAIトラフィック処理のパフォーマンスとCPU効率を最適化する際の柔軟性を高めることができます。DPUを導入する準備がまだ整っていないチームにとって、SuperNICのサポートは、次世代のNVIDIAネットワーキングプラットフォームとの整合性を維持しながら、インフラストラクチャ効率を向上させるもう1つの選択肢となります。
AIインフラストラクチャのモダナイゼーションは、一度で完了するものではありません。組織には、現在の状況に対応しながら、将来的により高度なアクセラレーテッドアーキテクチャへ移行できる選択肢が必要です。
重要である理由
BIG-IP Next for Kubernetes 2.3.0は、組織に求められるAIインフラストラクチャの運用方法が大きく変化していることを示しています。
AIの第1段階では、コンピューティングリソースへのアクセスが焦点でした。次の段階では、制御が焦点となります。
AIサービスが本番環境へ移行する中、チームには、パフォーマンス、コスト効率、ポリシー、信頼性を一体的に設計することが求められます。高コストなインフラストラクチャのリソースを消費する前にリクエストを最適化し、テナントやアプリケーション全体の利用を管理し、モデルやサービス間でトラフィックをインテリジェントにルーティングするとともに、現在および将来にわたってAIパフォーマンスの高速化を支える必要があります。
これが、BIG-IP Next for Kubernetes 2.3.0で強化されたAI最適化がもたらす価値です。
この最新リリースは、組織がAIインフラストラクチャの効率性と制御性を高め、本番環境での大規模運用に向けた準備を進めるのに役立ちます。
AIの未来を切り拓くのは、単なるコンピューティング能力ではありません。あらゆるリクエストをよりインテリジェントにし、すべてのトークンの説明責任を高め、各GPUをさらに有効活用できる組織です。F5 BIG-IP Next for Kubernetes 2.3.0は、お客さまがその次の一歩を踏み出せるよう支援します。
詳細については、F5 BIG-IP Next for KubernetesのWebページをご覧ください。
著者について
関連するブログ記事
F5 Distributed Cloud CDN：アプリを高速化、ワンクリックで有効化、コストを削減
F5 Distributed Cloud CDNなら、既存のセキュリティポリシーを変更することなく、ワンクリックでアプリを高速化し、オリジンの負荷とエグレスコストを削減して、コンバージョンを向上できます。
F5 BIG-IP v21.1を先行紹介：AIセキュリティ、PQC、ソフトウェアの機能強化
F5のBIG-IP v21.1がAIセキュリティとPQC対応への準備をどのように実現するかをご紹介します。
新しいAI AssistantでGuardrailsを高度化し、セキュリティを強化
F5の新しいAI Assistantは、AI Guardrailのカスタムスキャナー機能に直接組み込まれています。この機能により、企業はGenAIを活用して、自社固有のユースケースや独自のリスクプロファイルに沿ったポリシーを作成し、標準搭載の保護機能を超える対策を実現できます。
EU AI Actへの準拠がより容易に
AIシステム全体でEU AI Act、特に最も重大な禁止事項を運用に落とし込むには、どうすればよいのでしょうか。GenAIを導入するチームにとって、Article 5の「禁止されるリスク」に関する規定への対応には特有の課題があります。操作的な行為、生体認証による監視、ソーシャルスコアリングなど、最も重大な違反の多くは、従来のセキュリティツールでは容易に検出できないためです。F5のAI […]
AIレッドチームに欠けているものと、その改善方法
レッドチーミングは長年にわたり、企業セキュリティの要となってきました。しかし生成AIに関しては、多くの組織が新たな脅威環境に旧来の手法を適用しています。静的なプロンプトテスト、単発の監査、CLIベースのツールでは明らかな不具合を発見できる場合もありますが、導入後の生成AIシステムの挙動が持つ現実世界の複雑さを捉えられることはほとんどありません。 […]
欧州連合の人工知能法
AIが国際ビジネスのあり方を変える中、欧州連合の人工知能法（EU AI Act）は、AI技術の進化における重要な節目となっています。27か国で法制化されたこの重要な規制枠組みは、AIの利用を予定するあらゆる企業や組織に影響を及ぼし、AIシステムのあり方を形作ることになります。[…]