このブログ記事は、AIデータ配信に関するシリーズの第3回です。
生成AIは、一見すると簡単に機能しているように見えるかもしれません。しかし、優れた成果を上げるモデルの背後には、工業用精製施設のように複雑で繊細なデータパイプラインがあります。
AI分野のリーダーは、AIの拡張における最大の障壁はモデルではなく、モデルにデータを供給するデータフローにあると一貫して指摘しています。McKinsey & Companyの推計によると、AI対応データインフラストラクチャに対する企業の需要は年間30%を超えるペースで増加しており、モデルのトレーニング環境に必要なデータ量はそれをさらに上回るペースで拡大しています。そのため、こうしたパイプラインに支障が生じると、最先端のGPUでさえ稼働できません。
簡単なたとえを使うと、この課題を捉えやすくなります。
“AIデータパイプラインを、現代の製造業における組立ラインにたとえてみましょう。原材料（企業データ）は、ラインに投入する前に収集、検査し、適切に準備しておく必要があります。”
その後、厳格な品質基準を満たすよう、クリーニング、ラベル付け、変換、検証という一連の精密な工程を通じてデータを整えます。最後に、完成した部品を適切なタイミングで適切な生産ステーションへ効率的に送る必要があります。いずれかの工程にばらつきや遅延、ずれが生じると、1つの作業ステーションの不具合で組立ライン全体が停止するのと同様に、処理全体が滞ります。
原材料を収集、精製し、生産工程に届ける必要があるのと同様に、企業データも取り込み、変換、配信の各工程を経て初めて、モデルのトレーニングやファインチューニング、検索拡張生成（RAG）に活用できるようになります。いずれかの工程でデータが汚染されたり処理が遅延したりすると、AIシステム全体が損なわれ、ビジネスに悪影響を及ぼし、ROIの低下につながります。
本記事では、これら3つの段階を検証し、F5 BIG-IPとS3互換オブジェクトストレージが、現在企業に不可欠なモデルファウンドリのワークフローをどのように支援するかを解説します。
フェーズ1：取り込み—原材料の収集と集約
取り込みとは、データがAIエコシステムに入る段階を指します。企業内で信頼できる唯一の情報源が存在することはまれであり、「原材料」となるデータは、部門ごとのシステム、クラウドサービス、オブジェクトストア、SaaSツール、ログ、API、さらには外部のサードパーティデータにまで分散しています。その多くは、形式や取り込み頻度が異なり、完全性のレベルにもばらつきがあります。
このフェーズでは、データが集中型または分散型のオブジェクトストアに取り込まれる過程で、データの識別、認証、正規化、検証を行う必要があります。メタデータを付与し、スキーマをマッピングして、初期段階の品質チェックを実施します。取り込みが不適切であれば、その問題は後続のパイプラインにも引き継がれます。モデルが時間の経過とともに劣化するモデルドリフト、ハルシネーション、不安定なトレーニングジョブは、多くの場合、一貫性に欠ける、またはガバナンスが不十分な取り込みに起因します。
また、この段階では接続の脆弱性も現実的な懸念となります。高度に分散された環境の多くでは、リモートシステムへの長時間接続が予期せず切断されます。適切な保護対策がなければ、こうした障害によってオブジェクトストレージ環境内に放棄されたセッションが開いたまま残り、徐々にリソースを消費して、環境の信頼性に影響を及ぼします。
F5 BIG-IPは、これらの接続を管理してリソース消費の際限ない増大を防ぎ、送信元のネットワークが不安定な場合でもデータ転送が予測可能な形で完了するようにすることで、安定性を確保します。また、組み込み認証（トークン検証、ID連携、相互TLSを含む）、トラフィック管理、API保護、DDoS防御といったBIG-IPの実績ある強みにより、組織内に取り込まれる機密データも保護します。
こうしたガードレールにより、データは次の段階に供給するS3互換ストレージシステムへ確実に到達します。
フェーズ2：変換—データをモデルで利用可能な素材へと精製
取り込みが原材料を投入する工程だとすれば、変換はそれを高品質でモデルに利用できるデータ資産へと精製する工程です。ここで必要となる作業は、多くのチームが想定するよりはるかに複雑で、驚くほど多くのAIプロジェクトがこの段階で行き詰まります。モデルファウンドリ環境には、一貫性があり、適切にガバナンスされたデータが不可欠です。データにノイズや不整合がある、形式が不適切である、ラベル付けが不十分であると、トレーニングが不安定になり、モデルの品質が低下します。
変換では、モデルのトレーニング、ファインチューニング、または検索拡張生成（RAG）に使用できるよう、データのクレンジング、変換、準備を行います。
文書やPDFは、構造化テキストまたはベクトル埋め込みに変換されます。画像やログは解析され、標準形式に変換されます。欠損値は補正され、機密情報はマスキングまたは暗号化されます。また、規制当局が特定のアセットの生成・変更過程を追跡できるよう、データリネージが記録されます。RAGパイプラインでは、チャンク化戦略、埋め込みの生成、インデックスの更新もこの段階で行われます。
従来、変換処理は一元化された環境内で行われていましたが、その形態は変わりつつあります。データ量が急増するなか、一部の変換処理をエッジやデータソースの近くで行うことが、ますます合理的になっています。
F5 BIG-IPは、データの発生源に近い場所へ配置できる柔軟なフォームファクターにより、分散型のデータ拡充と精緻化を可能にします。エッジに導入した柔軟なS3互換オブジェクトストレージと組み合わせることで、組織はデータを中央のパイプラインに戻す前にフィルタリングして精緻化できます。これにより、トラフィックコストを削減し、不要なコンテンツやコンプライアンスに準拠していないコンテンツを転送するリスクを最小限に抑えられます。
変換が完了すると、組織は後続のコンピューティングシステムですぐに利用できる、クリーンで信頼性とセキュリティが確保されたアセットを得られます。
フェーズ3：配信—最適化されたデータを適切なタイミングで適切なコンピューティング環境へ移動
デリバリーとは、精製されたデータが、そのデータを必要とするGPUクラスター、ファインチューニングジョブ、ベクトルデータベース、RAGパイプラインに提供される段階です。
データ配信の品質は、ユーザーや運用担当者に即座に影響します。データの到着が遅すぎると、GPUへのデータ供給が滞ります。ルーティングが非効率だと、ジョブの待ち時間が想定以上に長くなります。アクセス制御が脆弱だと、機密性の高いデータセットが漏えいするおそれがあります。
適切に設計された配信ステージにより、データはストレージからコンピューティング環境へ高速かつ安定して転送されます。高スループットのアクセスパスを使用することで、分散トレーニングジョブはオブジェクトストレージからデータを並列に読み取ることができます。インテリジェントなキャッシュにより、パフォーマンスが向上します。
自動化されたワークフローは、トレーニングの実行をスケジュールし、リソースをスケーリングして、セマンティック検索クエリをルーティングします。監視ツールは、レイテンシ、スループット、パフォーマンスの異常を追跡します。
ここでもセキュリティは引き続き極めて重要です。取り込み時だけでなく、利用時にもアクセスを制御し、各データセットを適切なモデル、ジョブ、またはユーザーのみが利用できるようにする必要があります。
F5 BIG-IPは、ポリシーの適用、トークンの検証、リクエストパターンの監視によって、これを支援します。また、トラフィック分散を最適化し、データがコンピューティングリソースへ可能な限り効率的に流れるようにします。
スケーラブルなS3互換ストレージと組み合わせることで、これらの機能はトレーニングやファインチューニングのジョブに継続的にデータを供給できる環境を構築し、GPUのアイドル時間を短縮するとともに、予測可能なパフォーマンスを維持します。
3つのステージの連携
取り込み、変換、配信はそれぞれ異なるプロセスですが、連続したサイクルとして機能します。
取り込みでは、企業全体から最新かつガバナンスの適用されたデータをシステムに確実に取り込みます。変換では、そのデータをトレーニング、RAGインデックス作成、ファインチューニングに適した高品質なアセットへと整えます。配信では、それらのアセットを完全性を維持しながら、適切なコンピューティングリソースへ迅速に移動します。
いずれか1つの領域に弱点があるだけで、運用全体が滞ります。また、パイプラインの機能不全も広く発生しています。複数の情報源によると、企業のAIプロジェクトは全体の80%以上が失敗しており、その多くは、失敗の少なくとも70～80%がデータ品質の低さや不十分さに起因すると報告しています。
一方、BIG-IPなどのセキュアでレジリエントなネットワークサービスと、拡張性に優れたS3互換ストレージに支えられ、パイプラインがエンドツーエンドで円滑に機能すれば、組織はトレーニングを高速化し、より確信を持ってファインチューニングを行い、モデルファウンドリ環境を産業規模で運用できます。
F5は、あらゆる環境でAIアプリケーションを配信し、保護します
F5のAIデータ配信ソリューションの詳細については、AI Data Delivery and Infrastructure SolutionsのWebページをご覧ください。
F5のAIへの取り組みは、データ配信にとどまりません。F5があらゆる環境でAIアプリを保護し、配信する仕組みをご覧ください。
AIデータ配信シリーズのほかのブログ記事もぜひご覧ください：
大規模なAIインフラストラクチャを最適化するためのベストプラクティス
パイプラインの速度を低下させることなく、AIデータパイプラインを保護
著者について
Mark MengerはF5のソリューションアーキテクトで、AIおよびセキュリティ技術のパートナーシップを専門としています。F5のAIリファレンスアーキテクチャの開発を主導し、安全で拡張性の高いAIソリューションの推進に取り組んでいます。グローバルソリューションアーキテクトおよびソリューションエンジニアとしての経験を持ち、F5のセキュアクラウドアーキテクチャに貢献したほか、分散型4階層アーキテクチャを共同開発しました。『Solving IT Complexity』の共著者でもあり、IT課題への対応に関する専門知識を有しています。以前はアプリケーション開発者やエンタープライズアーキテクトを務め、モダンアプリケーション、自動化、AI投資から得られる価値の早期実現に注力していました。
Mark Mengerのその他のブログ記事関連するブログ記事
経営幹部が抱くAIに関する4つの誤解
AIに関する誤解は数多くあります。ここでは、組織が自社環境にAIを導入する際に見直す必要があるかもしれない4つの誤解を紹介します。
IT/OTコンバージェンスの現状と、セキュリティを最優先すべき理由
ITシステムとOTシステムの融合が進むにつれ、攻撃対象領域は拡大します。組織が安全に統合する方法と、F5 ADSPが大規模な運用の保護にどのように役立つかをご紹介します。
AIのレイテンシ：セキュリティを犠牲にできない理由
AIのレイテンシは、単なる速度の問題ではありません。パフォーマンス、セキュリティ、信頼性のバランスを考慮したシステム設計が重要です。
AIアプリケーションを大規模に提供する：ADCの役割
AIアプリケーションを確実に提供するには、高速なモデルや柔軟に拡張できるインフラストラクチャだけでは不十分です。AIアプリケーションの利用方法を管理するための制御レイヤーが必要です。
MCP：AI対応のアプリケーションデリバリを実現する鍵
Model Context Protocol（MCP）は、最新のアプリケーションにおける安全で低遅延なAI統合を可能にします。将来を見据えたアプリケーションデリバリ戦略にMCPが不可欠な理由をご覧ください。
AIガードレールとは？基盤モデルプロバイダーの枠を超えて進化する安全対策
急速に変化する組織の脅威領域におけるリスクをより包括的に捉えるために、AIガードレールの進化が必要な理由をご覧ください。