AWSでAIトレーニング向けの高速かつセキュアなデータパイプラインを構築

Dave Morrisseyプリンシパルアライアンスマネージャー | F5

AIモデルに多額の投資を行い、狙いどおりの結果を得るためにトレーニングとチューニングを進めていても、最適な成果を阻む重大なボトルネックがあります。それがデータ取り込みです。テキスト、画像、音声、動画といった膨大な量のマルチモーダルトレーニングデータを、さまざまな保存場所からAIモデルへ転送する必要があります。このプロセスが非効率だと、コストが増加し、トレーニングタスクに遅延が生じる可能性があります。課題は、多くのトラフィック管理ソリューションが、AIの動的な性質に対応できるよう設計されていないことです。

まず、データソースは、オンプレミスのデータセンター、プライベートクラウドストレージ、エッジロケーションなど、ハイブリッドマルチクラウド環境全体に分散しています。こうした多様なソースからAIインフラストラクチャへテラバイトまたはペタバイト規模のトレーニングデータを移動すると、トラフィック管理が複雑になり、データ転送コストも高くなります。

<p>次に、GPUの利用効率が低いという課題があります。データ取り込みがボトルネックになると、高価なGPUリソースがアイドル状態となり、運用コストの増加やモデルのトレーニングサイクルの長期化につながります。GPUを最大限に稼働させるには、一貫して高いパフォーマンスを発揮するデータストリームが必要です。</p>

第3に、価値あるトレーニングデータをネットワーク経由で転送する際には、セキュリティとコンプライアンスを維持する必要があります。保護対象の顧客データから競争優位性をもたらす知的財産に至るまで、機密性の高い専有データを扱うため、セキュリティ侵害が発生すれば、ビジネスに壊滅的な影響を及ぼす可能性があります。

AWSを活用したAIトレーニング

AWSは、ワークフローをオーケストレーションするAmazon SageMaker Pipelines、データをリアルタイムでストリーミングするAmazon Data Firehose、データを継続的にレプリケーションするAWS Database Migration Serviceなどのサービスにより、AIトレーニングの取り組みに強固な基盤を提供します。これらのAWSネイティブサービスは、不可欠なデータ移動タスクを処理し、数千の同時ワークフローに対応できるようスケールできます。

ただし、AWSサービスはデータ取り込みとモデル学習の自動化に優れている一方、ハイブリッドマルチクラウド環境、厳格なセキュリティ要件、高性能なトラフィック最適化が関わる複雑なシナリオでは、AWSの範囲を超える機能が必要になる可能性があります。

F5がお客さまの成功を加速

そこで、F5 Application Delivery and Security Platform (ADSP)が、トラフィック管理とセキュアなマルチクラウドネットワーキングによってAWSインフラストラクチャを補完し、AIトレーニングの目標をより効果的に達成できるよう支援します。

F5 ADSPの一部であるF5 BIG-IP Virtual Edition（VE）は、大容量データ転送向けに特別に調整されたTCP最適化とインテリジェントな負荷分散により、GPU使用率を最大化します。サーバーの健全性監視や容量ベースのルーティングなどの機能により、GPUへのデータストリームを安定させ、コストのかかるアイドル時間を削減します。さらに、SSLオフロードとFastL4およびFast HTTPプロファイルを組み合わせることでデータ転送を高速化し、ハードウェア投資からより大きな価値を引き出せます。

F5のプラットフォームの一部であるF5 Distributed Cloud Network Connectは、分散したデータソースとAWSの間にセキュアなレイヤー3接続を提供し、ハイブリッドマルチクラウドの接続に関する課題を解決します。ワンクリックのプロビジョニングにより、オンプレミスおよびクラウドベースのストレージをAWSに直接接続でき、複雑なネットワーク構成が不要になります。NetAppストレージシステムを使用している場合、F5はNetwork File System（NFS）、Server Message Block（SMB）、Amazon S3 APIなど、複数のプロトコルとシームレスに統合できます。インターネット、プライベートバックボーン、またはプライベートなF5 Global Networkを介してデータソースを接続できます。

セキュリティと制御を強化

F5 ADSPは、ハイブリッド環境全体でトレーニングデータを包括的に保護します。分散型サービス拒否（DDoS）攻撃の緩和、WebアプリケーションとAPIの保護、一元化された認証および認可による完全なSSL/TLSインスペクションを提供します。これにより、機密データの取り扱いに関するコンプライアンス要件を満たしながら、すべての環境で一貫したセキュリティポリシーを適用できます。

F5のトラフィック最適化機能は、GPUとデータ転送の両方のコスト管理に役立ちます。インテリジェントルーティングにより環境間でデータを効率的に移動でき、高度な圧縮機能とキャッシュ機能によって帯域幅の消費を削減します。パフォーマンスを維持しながらデータパイプラインを継続的に監視、最適化し、コスト超過を防止できます。

AI活用を成功へ導く道筋

F5のアプリケーションデリバリおよびセキュリティ機能とAWSのAI開発サービスを組み合わせることで、セキュアかつ効率的で、固有のニーズに合わせて最適化されたデータパイプラインを構築できます。この統合アプローチは、次のことに役立ちます。

• GPUにトレーニングデータを継続的に供給
• インテリジェントなトラフィック管理により、インフラストラクチャコストを削減
• ハイブリッド環境全体でセキュリティとコンプライアンスを維持
• データ量の増加に応じて、AIの取り組みを安心して拡張

必要な場所に必要なタイミングで大量のデータを確実に配信できる堅牢なインフラストラクチャにより、AIトレーニングの取り組みを短期間で成功に導ける可能性が高まります。F5とAWSの連携により、データパイプラインインフラストラクチャの信頼性、セキュリティ、コスト効率を確保しながら、革新的なAIモデルの開発に注力できます。

詳しくは、F5 on AWSの概要ページをご覧ください。

また、本シリーズの次回ブログでは、APIセキュリティによってAWS上のAIイノベーションを保護する方法をご紹介します。ぜひご期待ください。

著者について

Dave Morrisseyプリンシパルアライアンスマネージャー | F5

Dave Morrisseyのその他のブログ記事