高性能なAIデータパイプラインの構築：F5とFuturiomの対談

F5とScality：AIデータ配信とAIパイプラインの最適化

人工知能の台頭により、データの管理と処理は大きく変革しました。その結果、さまざまな業界の企業が、AIのパフォーマンスを最大限に引き出すための堅牢なインフラストラクチャに多額の投資を行っています。

AIパイプライン最適化の次なる波をリードするF5とScalityは、スケーラビリティ、レジリエンス、セキュリティをめぐる課題に最先端のソリューションで応えます。両社のイノベーションを組み合わせることで、ペタバイト規模のデータをホストし、AIアプリケーションのトラフィック処理を管理しながら、AIパイプライン全体でデータをシームレスに配信、処理できます。

ここでは、ウェビナー「大規模環境でのAIデータ配信の強化：F5とScalityがパフォーマンスとセキュリティを変革する方法」の主なポイントをまとめます。両社のテクノロジーがどのように連携してAIパイプラインを最適化するのか、両社のソリューションが重要である理由、そして組織がこれらを活用してAIデータ配信ワークフローを効率的に拡張する方法について解説します。

AIパイプラインの最適化における負荷分散の重要性

ウェビナーでは、Scalityのセールスエンジニアリング担当ディレクターであるChris Harvey氏が、AIワークフローの最適化においてロードバランシングが極めて重要な役割を果たすと強調しました。AIワークロードでは、中断することなく高スループットでデータが配信されることが不可欠です。S3（Amazon Simple Storage Service）は、分析、バックアップ、推論などのアプリケーションで利用され、AIプロセスにおける事実上のデータプロトコルとなっています。

しかし、GPUを多用するAIアプリケーションでは、極めて高い同時実行性と帯域幅が求められるうえ、推論や検索拡張生成（RAG）で動的なリクエストが発生するため、高度なトラフィック管理メカニズムが必要です。そこで力を発揮するのが、F5のロードバランシングソリューションです。従来のシステムでは、応答しないエンドポイントにトラフィックを振り分ける可能性があるDNSラウンドロビン方式を使用する場合があります。一方、F5はヘルスプローブとインテリジェントなアルゴリズムを導入し、障害のあるコネクターによって運用が中断されないようにします。

主なポイント：

• 標準プロトコルとしてのS3：S3は現在、AIワークロードの汎用プロトコルとなっており、クライアントの同時接続数が極めて多い環境でデータフローを最適化するうえで重要な役割を果たしています。
• ヘルスプローブ：F5はアクティブヘルスプローブを使用し、障害が発生したコネクタをワークフローから自動的に除外します。
• 負荷を考慮した分散：高度な負荷分散アルゴリズムにより、ボトルネックを防ぎ、サーバーの利用効率を最適化します。

AIパイプラインの課題とScalityのAutonomous Data Infrastructure（ADI）

このウェビナーでは、AIデータ配信の停止、大規模環境での信頼性確保、推論時の動的なデータアクセスなど、AIパイプラインで頻繁に発生する課題を取り上げました。ScalityのADIは、F5 BIG-IPソリューションと組み合わせることで、KVキャッシュをオフロードし、GPUDirectクラスのスループットを実現して、これらの課題を解決します。
AIパイプライン管理における重大な障害の1つが、GPUのダウンタイムです。クラウドモデルとオンプレミスモデルで経済的なメリットを得るには継続的なデータ取り込みが必要なため、GPUがアイドル状態になるとROIを確保できません。Scalityは、以下の方法でこれらの課題に対処します。

• 動的なデータリクエスト：GPUホストは、トレーニングデータを事前にステージングするか、推論時に必要なファイルを動的に取得します。
• ダイレクトメモリアクセス（RDMA）：これにより、毎秒数テラバイト規模の高速なデータストリームが可能になり、GPUの使用効率を最適な状態に維持できます。

AIパイプラインのダウンタイムを許容できない理由

AIアプリケーションは、わずかな障害にも影響を受けやすいものです。長時間実行される分析ジョブは数日から数週間に及ぶことが多く、中断するとコストのかかる再実行が必要になる場合があります。さらに、一時的なエンドポイント障害によってリアルタイムのRAGプロセスが中断し、重要なビジネス成果が損なわれるおそれがあります。
F5のソリューションは、動的な負荷分散技術とサービス保証メカニズムを導入することで、「常時稼働」の可用性を確保します。

• TLSオフロード：証明書を一元管理できるようにしながら、S3コネクターのCPU帯域幅を節約します。
• 導入トポロジ：グローバルサーバーロードバランシング（GSLB）を使用した単一サイトおよび複数サイトへの導入により、レジリエンスを確保します。

パイプライン最適化に向けたScality-F5統合：アーキテクチャの概要

Scality ADIとF5 BIG-IPの相乗効果は、両社のAIファクトリーアーキテクチャの中核を成しています。インテリジェントなリソース管理機能を備えたこの設計では、APIの安全なスケーリング、ワークロード分散、効率的なAIデータ配信を重視しています。特に重視する点は次のとおりです。

• ステートフルAPI：エージェント型AIや検索メカニズムなどのリアルタイムアプリケーション向けに、リソース割り当てを管理します。
• 運用面でのQoSのメリット：F5は、一元管理によってテナント分離、トラフィックのスロットリング、サービス階層の適用を可能にします。これにより、ノイジーネイバー問題に対処し、システムを最適な状態で稼働させることができます。

パフォーマンス、スケーラビリティ、セキュリティを最適化する最先端のイノベーション

大規模なマルチPBインフラストラクチャを管理する組織にとって、パフォーマンスの最適化は不可欠です。F5の統合ソリューションは、AIパイプラインの最適化に特化したハードウェアアクセラレーション機能を提供します。独自のFPGA設計とScality ADIのステートレスS3コネクタプールを組み合わせることで、ボトルネックを生じさせずにスループットを維持できる、極めて効率的なシステムを実現します。

さらにF5は、耐量子暗号（PQC）標準を含む最先端のセキュリティ対策を活用することで、量子技術を用いた復号によって将来生じる可能性のあるデータ脆弱性に、組織が先手を打って対応できるよう支援します。

パフォーマンスのハイライト：

• F5のバイパス機能により、スケーラビリティを維持しながらAIデータを一括配信できます。
• テナント固有の構成により、インフラストラクチャを共有するアプリケーションやエンティティ間を円滑に分離できます。

AIパイプラインの最適化では、個別の修正を実施するよりも、統合されたスケーラブルなソリューションを活用することが重要です。F5とScalityのウェビナーでは、レジリエンス、スケーラビリティ、セキュリティを損なうことなく、両社のテクノロジーが動的なAIワークフローによって生じる課題にどのように対処するかをご紹介します。

AIが産業を変革し続ける中、組織は複雑化や脅威の増大に対応できる将来性の高いインフラを構築するため、F5やScalityが提供するようなソリューションに投資する必要があります。両社による負荷分散、データ配信、インフラ最適化への革新的なアプローチは、最新のAIパイプラインを効果的に管理するための新たな基準となります。

AIパイプラインの最適化に関する詳細な知見や情報については、上記のフォームからウェビナー全編をオンデマンドでご覧ください。