AI アプリケーション向けのアプリケーション配信とセキュリティ: 最新の AI アーキテクチャのナビゲート
今年上半期には、推論の展開パターンと新たなAI アプリケーション アーキテクチャの両方が標準化され始め、ネットワークからアプリケーションの配信やセキュリティに至るまで、あらゆるものへの将来的な影響についてより良い見通しが得られるようになりました。 私たちは、AI に焦点を当てた最近の調査の結果、推論がオンプレミスとクラウドの両方に展開され (自己管理パターン)、クラウド プロバイダーの提供 (クラウド ホスト パターン) やサービス (サービスとしての推論パターン) として利用されるようになると確信しています。
しかし、新たな AI アーキテクチャは、データ ソース (ナレッジ グラフとベクター データベース) をアプリケーション アーキテクチャに組み込む検索拡張生成 (RAG) に大きく依存しています。 調査によると、「GenAI を活用している企業の 70% が、ツールとベクター データベースを使用して基本モデルを拡張しています。」 ( Databricks、2024 年)
このアーキテクチャ パターンの結果は 4 つあります。
- 企業内の最新アプリケーション ワークロードの数を拡大します。
- セキュリティを必要とするAPI の数が大幅に増加します。
- EW データ パスのアプリケーション配信およびセキュリティ テクノロジに対する戦略的関連性を高めます。
- アプリケーション アーキテクチャに新しい層 (推論層) を導入します。 これは初期の AI 技術スタックで参照される「モデル」層ですが、AI アプリケーションを操作するときに、トレーニング中のモデル (開発プロセス) と運用中のモデル (実行プロセス) を区別するのに役立ちます。
AI アーキテクチャに関して組織が直面する課題の 90% は新しいものではないことに注意することが重要です。 可視性、レート制限、ルーティングなどの期待に応えるための変更は、ほとんどの企業がすでに持っている既存の機能への追加です。
AI アプリケーションを配信し、保護するために必要なすべての機能のうち、まったく新しいものはわずか 10% だと私は推定しており、そのほぼすべてがプロンプトと AI アプリケーション トラフィックの非構造化特性に関連しています。 この 10% によって、データ セキュリティ関連機能とともに、迅速なセキュリティ、迅速な管理、迅速な最適化などの新しいアプリケーション サービスが生まれます。 F5 はすでに、 PortkeyおよびPrompt Securityとの提携を通じて、こうしたニーズに対応する取り組みを示しています。
ここでも AI ゲートウェイの導入が進んでいます。 現在、AI ゲートウェイの定義とそれが市場にもたらす機能は、「もの」を提供している企業によって異なりますが、API ゲートウェイと同様に、AI ゲートウェイはセキュリティとアプリケーション ルーティング機能を組織の単一の戦略的な制御ポイントに統合する傾向があります。 しかし、繰り返しになりますが、「モノ」の機能は主に AI トラフィックに特有の新しい機能の増加であり、残りは既存のものです。
私にとって本当に興味深いのは、新しい層です。なぜなら、そこでは新しい、そして既存のアプリケーション配信とセキュリティ機能が必要になるからです。
実際、新しい層の導入により、大規模な AI 推論を実行するために必要なコンピューティング、ストレージ、ネットワーク リソースを提供できるインフラストラクチャを備えた新しいデータ センター アーキテクチャが出現しています。 この層では、AI ネットワーク ファブリックや AI ファクトリーなど、何と呼ぼうと、そういったものが登場します。 名前に関係なく、この新しいインフラストラクチャ構造には、新しいハードウェア システム上で既存のインフラストラクチャ構造を操作する機能が含まれています。 それは、提供された気の利いた図の #4 です。
しかし、#2 でもいくつかの新しい機能が必要になります。 ここでのブリッジは、API トラフィックを拡張、保護、ルーティングする必要があることは明らかな、かなり標準的な N-S データ パスですが (はい、その API は推論用ですが、それでも API です)、この時点で、新しい負荷分散アルゴリズム (または少なくとも、既存のアルゴリズムに組み込まれた新しい決定基準) が登場する可能性があります。
たとえば、トークン数とコンテキスト ウィンドウは、トークン数がコストに与える影響は言うまでもなく、パフォーマンスと特定の要求が受信側システムに与える負荷を理解する上で特に重要です。 したがって、これらの変数が #2 で行われる負荷分散/トラフィック ルーティングの決定の一部になる可能性があることを認識することは、論理的に大きな飛躍ではありません。
ポイント 4 は、ハードウェアを活用してサーバーからネットワーク タスクをオフロードする時代に戻るため、おそらく最も興味深いポイントです。 はい、これはアーキテクチャに対する「サーバーにサービスを提供させる」アプローチの復活です。 現代において、これは、アプリケーションの配信とセキュリティを展開できる総合的なシステムとして DPU を活用し、推論サーバーの CPU を推論だけに使うことを意味します。 これは以前にも見られたパターンであり、推論サービスのスケーリング (およびパフォーマンス) に関するあらゆる問題にうまく対処できるものです。
AI アーキテクチャがアプリケーションの配信とセキュリティに与える影響は、日常的でありながらも重大なものです。 課題はほとんど同じなので、平凡です。 これは、組織がこれらの課題に戦略的に対処できるアーキテクチャの追加ポイントを導入する点で重要です。
業界が日常的な問題と記念碑的な問題の両方にどのように対応するかによって、アプリケーションの配信とセキュリティの将来が決まります。