インフラストラクチャのルネサンスには、こんなキャッチフレーズがあります。「サーバーにはサービス提供を、推論基盤には推論を」
テクノロジーの黎明期、私は何年もの間、SSLアクセラレータのテストと分析に明け暮れていました。これらの小型カードは、デジタルビジネスと電子商取引の爆発的な成長に伴って生じた重大な問題に対処するために設計されたものです。その問題とは、SSLを使用するセキュリティ機能がCPUサイクルを消費し、パフォーマンス低下の大きな要因となっていたことです。そこで、F5を含む業界各社は、これらの機能をオフロードし、サーバーを本来の処理に専念させるためのハードウェアを開発しました。
現在、AI、特に推論でも同じ問題が生じており、当然ながら同じようなソリューションが登場しています。つまり、サーバーを本来の処理に専念させ、推論処理を推論専用ハードウェアに任せる専用ハードウェアです。
ええ、文法的に正しいかどうかは自信がありませんが、ひとまずこれでいきましょう。では、よろしく。
これまで説明してきたように、AIアプリケーションは、アーキテクチャの構造上はモダンアプリケーションです。しかし、AIアプリケーションの中核を成すのは推論であり、この点でAIは「通常の」モダンアプリケーションとは異なります。
推論の実際
これまで、AIコンピューティング複合システムがCPUとGPUのバンクで構成される仕組みについて見てきました。クラスターを効率的に稼働させるには、これらのコンピューティングリソース間の比率とバランスを維持する必要があります。CPUの処理が追いつかなくなるたびに、非常に高価なGPUがアイドル状態になります。
実際のところ、推論サーバーで行われる処理のうち、推論処理が占めるのは一部にすぎません。その多くは、HTTPリクエストやAPIリクエストを処理する標準的なWeb処理です。推論サービスの中でCPUを使用し、しばしば過負荷になるのは、この部分です。この状態になると、推論のサーバー側がリクエストの処理に追われるため、GPUの使用率は次第に低下します。
おそらくそのため、15%の組織が、利用可能な購入済みGPUのうち実際に使用しているのは50%未満であると回答しています（State of AI Infrastructure at Scale 2024）。
この問題の一因は、本来インフラストラクチャが担うべき処理にCPUリソースが使用されていることです。トラフィック管理、セキュリティ運用、監視などのサービスもCPUリソースを消費し、システム全体の負荷を増大させます。その結果、推論サーバーの処理能力とパフォーマンスが低下し、GPUリソースの利用率も低下します。
幸い、このインフラストラクチャの刷新では、インフラストラクチャ処理を新たなプロセッシングユニットであるDPUにオフロードすることで、推論処理に必要なCPUリソースを確保できます。
DPUの興味深い点は、実際に2つの異なるモードをサポートしていることです。そのうちの1つでは、InfiniBandまたはEthernet上のRDMAなどのネットワーク処理をオフロードできます。これは、AIモデルのトレーニングや大規模なユーザーベース向けの推論処理のスケールアウトなど、大量のデータが流れるAIコンピューティング環境を構築する際に非常に役立ちます。
一方、DPUは「DPU」モードに設定することもできます。Kubernetesでは、DPUが独立したノードとして認識され、その上でアプリケーションデリバリやセキュリティなどの機能を実行できます。予測が難しく、負荷の高いインフラストラクチャワークロードをクラスター内の専用ノードに「オフロード」することで、推論サービス用のCPUコンピューティングリソースを実質的に確保できます。これにより、F5 BIG-IP Next SPK (Service Proxy for Kubernetes)のようなソリューションは、API経由で受信するN-S AIリクエストを管理および保護し、AIコンピューティング複合環境内の適切な推論サービスに正しく分散できます。
このアプローチでは、F5のソリューションがKubernetesネイティブであるため、組織はKubernetesによるインフラストラクチャ管理に関する既存の知識と投資を活用できます。コア、クラウド、エッジのいずれでも、クラスターレベルで運用するため、すべての環境で一貫した運用が可能です。
また、アプリケーションデリバリおよびセキュリティサービスの管理責任を分離することで、ネットワーク運用チームとセキュリティ運用チームは、開発チームとML運用チームが管理するAIワークロードとは独立してインフラストラクチャを管理できます。
最後に、アプリケーションデリバリとセキュリティにDPUを活用することで、組織のマルチテナンシー要件により適切に対応できます。分離の対象は、顧客のワークロードだけでなく、モデルのワークロードにも及びます。F5の調査では、組織がすでに平均2.9種類の異なるモデルを使用していることが明らかになっています。一貫したソリューションで各モデルの利用を管理できれば、個々のモデルが使用および生成するデータのセキュリティとプライバシーに対する信頼性を高められます。
F5がNVIDIAのDPUを活用してAI関連のユースケースに取り組むのは、今回が初めてではありません。しかし、あらゆる規模のお客さまが、拡張性とセキュリティを備えたAIコンピューティング環境を構築できるよう支援するソリューションを共同開発するのは、今回が初めてです。これにより、どのような環境でも推論の力を安全かつ確信を持って活用し、GPUリソースをアイドル状態にすることなく、その利用を最適化できます。
著者について
Lori MacVittieは、F5のOffice of the CTOに所属するDistinguished Engineer兼Chief Evangelistであり、アプリケーションデリバリ、自動化戦略、インフラストラクチャに関する深い専門知識を有しています。AIエージェントのガードレール策定、脆弱なマルチクラウドアーキテクチャの分析、スケーラブルなシステムの限界の検証など、複雑な事柄を明快にすることで知られています。アプリケーション開発、ITアーキテクチャ、ネットワークおよびシステム運用の分野で、30年以上にわたる業界経験を有しています。F5入社前は、受賞歴のあるテクノロジー編集者として活躍していました。 MacVittieはコンピューターサイエンスの修士号を取得しており、セキュリティ、クラウド、エンタープライズアーキテクチャにわたる分野で多数の著作を発表しています。また、テーブルトークゲームとビデオゲームをこよなく愛し、チーズについては遠慮なく強いこだわりを語ります。
Lori Mac Vittieのその他のブログ記事関連するブログ記事
SOAS 2025：足並みの乱れが凡庸さを招く
AI導入における方針の不一致は、非効率を招きます。セキュリティ、自動化、導入の各戦略を整合させ、AIの可能性を最大限に引き出す方法をご紹介します。
WebAssemblyが重要な理由
WebAssembly（Wasm）は、あらゆるプラットフォームで高性能なアプリケーションを実現する、ポータブルで高速かつセキュアなバイナリ命令セットです。
インフラストラクチャは依然として格好の攻撃経路
クラウドコンピューティングでは、APIやドラッグ＆ドロップ式の設定ツールを活用し、ネットワークやインフラストラクチャを敬遠する人がそれらを直接扱わずに済むようにすることで、インフラストラクチャへの対応を不要にすることが長年追求されてきました。しかし、インフラストラクチャを無視することも、攻撃の主要な標的であるという事実を見過ごすこともできません。
堅牢なデータアーキテクチャがもたらす戦略的メリット
適切に構築されたデータアーキテクチャがもたらす効果は、業務プロセスの改善にとどまりません。戦略的な業務効率の向上、より深いビジネスインサイトの獲得、隣接するビジネス機会への展開にもつながり、これらすべてをより俊敏に実行できるようになります。
デジタルワークフローにおける不正検知には、データだけでは不十分
2019年には、業界全体でクレジットカード詐欺の試みが約25万件確認されました。これは約2分に1件の割合です。今日、不正を検知するには、デジタルワークフロー上のできるだけ多くのポイントから収集したデータを相互に関連付け、手作業によるデータ処理をはるかに上回る速度で分析する能力が求められます。