自ら管理するインフラでAIファクトリーを運用

エンタープライズAIファクトリーとは、組織が管理するGPUを使用し、自社のデータセンター、コロケーション施設、または専用のクラウドリソースで運用するAIインフラストラクチャです。自社のアプリケーションやエージェント向けに、モデルのトレーニング、ファインチューニング、推論の提供を行います。組織は、機密データを社内に保持し、規制要件を満たし、大規模運用時のコストを管理し、あるいはモデルをカスタマイズするために、こうした基盤を構築します。これにより、AIは組織が運用するプラットフォームとなり、他の本番システムと同様に、配信とセキュリティの要件を満たす必要があります。

GPUでデータ待ちが発生しないよう、ストレージへの通信経路も他の本番トラフィックと同様に扱います。S3エンドポイントの前段にロードバランサーを配置し、ジョブを複数のストレージノードに分散させて、1つのノードへのアクセス集中を防ぎます。ノードやサイトが停止した際はジョブを再起動せずにフェイルオーバーし、ポリシーに基づいてサイトやクラウド間でトラフィックを振り分けます。さらに、S3 APIを保護します。データの通信経路は、攻撃経路にもなるためです。

企業全体でGPUを共有するには、GPUをプール化し、各チームに利用範囲と割り当てを設定します。Kubernetesの名前空間とクォータでスケジューリングを管理し、ネットワークレベルの分離でチーム間のトラフィックを分離します。また、チームごとにトークン数の上限を設けることで、1つのグループのワークロードが他のグループのリソースを圧迫するのを防ぎます。そのうえで、推論を考慮したルーティングにより、リクエストを処理量に応じて分散し、共有GPUを均等に利用します。

LLMをオンプレミスでセキュアに実行するには、モデルを本番パイプラインの1つの構成要素として扱います。ネットワーク上でチームと環境を分離し、モデルやエージェントがクラスター外でアクセスできる対象を制御します。実行時にはプロンプトと応答を検査してインジェクションやデータ漏えいの有無を確認し、リリース前にはモデルとエージェントに対して敵対的テストを実施し、それらを公開するAPIを保護します。そのうえで、各境界を通過した内容をログに記録します。

いいえ、エンタープライズAIファクトリーにDPUは必須ではありません。BIG-IP Next for Kubernetesは、ほとんどのエンタープライズAIプラットフォームが最初に採用する標準的なホストCPUとKubernetes上で稼働し、F5のデータ配信はBIG-IPソフトウェア、VELOS、rSeries上で動作します。NVIDIA BlueField DPUは、ネットワークのデータパスをホストからオフロードし、ハードウェアレベルの分離を追加します。こうした機能は、環境の規模が拡大するにつれて導入する価値が高まります。