業界は、AIインフラストラクチャの新たな段階に入りつつあります。
生成AIの第1波では、モデルの構築とトレーニングに重点が置かれていました。次の段階では、AIを大規模に運用することが焦点となります。企業、ハイパースケーラー、そして新世代のネオクラウドプロバイダーは、F5が「AIファクトリー」と呼ぶ環境を構築しています。これらの環境は、可能な限り効率的かつ確実でセキュアにトークンを生成できるよう設計されています。
こうした環境では、レイテンシの1ミリ秒、GPU使用率の1%が重要です。
The Tolly Groupのテストでは、NVIDIA BlueField DPU上で稼働するF5 BIG-IP Next for Kubernetesは、従来の負荷分散ソリューションと比較して、トークンスループットが最大40%向上し、最初のトークンが生成されるまでの時間が61%短縮され、リクエストレイテンシが34%低減しました。
GPUは、最新のデータセンターを構成するコンポーネントの中でも特に高価です。リクエストのルーティングが非効率だったり、GPUの使用率が低かったりすると、組織は実質的にコンピューティング能力を無駄にし、コストを浪費することになります。
しかし、多くのAI環境では依然として、GPUインフラストラクチャのリアルタイムの状態を把握せずにリクエストを分散する、従来のラウンドロビン方式の負荷分散に依存しています。このアプローチは従来のWebアプリケーションには有効でしたが、AI推論には十分ではありません。
GPUを認識するインフラストラクチャの重要性
AI推論環境は、従来のアプリケーションアーキテクチャとは根本的に異なります。
推論クラスターは、大規模言語モデルやその他のAIワークロードを実行するGPUプールで構成されます。各GPUが処理するワークロードは、キューの深さ、モデルの実行時間、生成トークン数、メモリ使用率などの要因に応じて、その時々で大きく異なる場合があります。
トラフィックを無差別に分散すると、他のアクセラレーターが十分に活用されていない一方で、すでに高負荷のGPUにリクエストがルーティングされやすくなります。その結果、応答レイテンシーが増大し、インフラストラクチャの利用効率が低下します。
そのため、AIインフラストラクチャには、ワークロードの状況を認識する能力が必要です。
F5は、環境のリアルタイムな状況に基づいてAI推論リクエストをインテリジェントに分散できるよう、インフラストラクチャ層を進化させる必要があると考えています。
The Tolly Groupによる独立検証
GPU対応型ロードバランシングの効果をより深く理解するため、独立系テクノロジー検証企業のThe Tolly Groupに、従来のロードバランシングソリューションと比較してF5のアプローチを評価するよう依頼しました。
その結果は非常に説得力のあるものでした。The Tolly Groupのテストでは、NVIDIA BlueField DPU上で稼働するF5 BIG-IP Next for Kubernetesにより、最大で以下の成果が得られました。
- トークンスループットが40%向上
- 最初のトークン生成までの時間を61%短縮
- リクエストレイテンシを34%短縮
これらの改善効果は、広く利用されているオープンソースの負荷分散ソリューションとの比較に基づいて測定されました。
テストで得られた興味深い知見の1つは、小規模なモデルほどメリットがより顕著になったことです。小規模なモデルでは、効率的なトラフィック分散がシステムパフォーマンスにさらに大きな影響を与える可能性があります。
DPUによるインフラストラクチャ処理のオフロード
このアーキテクチャのもう1つの重要な側面は、インフラストラクチャ処理のオフロードです。
現在、多くの導入環境では、トラフィック管理機能がAIワークロードとともにサーバーCPU上で直接実行されています。そのため、貴重なCPUリソースがアプリケーションワークロードではなく、インフラストラクチャタスクに消費されています。
NVIDIA BlueField DPU上でF5 BIG-IP Next for Kubernetesを実行することで、トラフィック管理機能をサーバーCPUからDPUにオフロードできます。
The Tolly Groupのテストでは、顕著な差が見られました。Nvidia BlueField DPU上で稼働するBIG-IP Next for Kubernetesに必要なCPUコアは約2個だったのに対し、従来のCPUベースの負荷分散には約12個のコアが必要でした。
これはCPU使用率が約80%低いことを示しており、その分のCPUリソースを他のワークロードに利用できます。
AIインフラストラクチャの未来
AIファクトリーの規模が拡大するにつれ、インフラストラクチャの効率性は、AI導入の成否を左右する最も重要な要因の1つとなります。
組織には、GPU使用率の最大化、レイテンシの最小化、トークンスループットの向上に加え、インフラストラクチャのセキュリティと分離の確保が求められます。これらの目標を達成するには、AIワークロードの動的な特性を把握できるインフラストラクチャが必要です。GPUを考慮した負荷分散とDPUで高速化されたインフラストラクチャは、その未来に向けた重要な一歩となります。
F5は、インテリジェントなインフラストラクチャが次世代AIファクトリーの実現において中心的な役割を果たすと考えています。The Tolly Groupが検証した結果は、その実現に向けた大きな一歩です。レポートの全文はこちらから入手できます。
また、F5 BIG-IP Next for KubernetesのWebページもぜひご覧ください。
著者について
関連するブログ記事
F5 Distributed Cloud CDN：アプリを高速化、ワンクリックで有効化、コストを削減
F5 Distributed Cloud CDNなら、既存のセキュリティポリシーを変更することなく、ワンクリックでアプリを高速化し、オリジンの負荷とエグレスコストを削減して、コンバージョンを向上できます。
F5 BIG-IP v21.1を先行紹介：AIセキュリティ、PQC、ソフトウェアの機能強化
F5のBIG-IP v21.1がAIセキュリティとPQC対応への準備をどのように実現するかをご紹介します。
新しいAI AssistantでGuardrailsを高度化し、セキュリティを強化
F5の新しいAI Assistantは、AI Guardrailのカスタムスキャナー機能に直接組み込まれています。この機能により、企業はGenAIを活用して、自社固有のユースケースや独自のリスクプロファイルに沿ったポリシーを作成し、標準搭載の保護機能を超える対策を実現できます。
EU AI Actへの準拠がより容易に
AIシステム全体でEU AI Act、特に最も重大な禁止事項を運用に落とし込むには、どうすればよいのでしょうか。GenAIを導入するチームにとって、Article 5の「禁止されるリスク」に関する規定への対応には特有の課題があります。操作的な行為、生体認証による監視、ソーシャルスコアリングなど、最も重大な違反の多くは、従来のセキュリティツールでは容易に検出できないためです。F5のAI […]
AIレッドチームに欠けているものと、その改善方法
レッドチーミングは長年にわたり、企業セキュリティの要となってきました。しかし生成AIに関しては、多くの組織が新たな脅威環境に旧来の手法を適用しています。静的なプロンプトテスト、単発の監査、CLIベースのツールでは明らかな不具合を発見できる場合もありますが、導入後の生成AIシステムの挙動が持つ現実世界の複雑さを捉えられることはほとんどありません。 […]
欧州連合の人工知能法
AIが国際ビジネスのあり方を変える中、欧州連合の人工知能法（EU AI Act）は、AI技術の進化における重要な節目となっています。27か国で法制化されたこの重要な規制枠組みは、AIの利用を予定するあらゆる企業や組織に影響を及ぼし、AIシステムのあり方を形作ることになります。[…]