当初のADC10では、あらゆる運用チームが認識している問題に焦点を当てています。コンピューティング、ストレージ、ネットワークの各リソースを非効率に使用すると、コストが増大し、スケーラビリティが制約されます。過剰にプロビジョニングすればコストが無駄になり、不足すればパフォーマンスが低下します。そこで示されている解決策は、トラフィック分散とインテリジェントなヘルスチェックを改善し、プログラム可能な制御を導入することで、システム全体のリソースを効率的に使用することです。この点は現在も変わりません。
AIによって変わるのは、リソース使用率を予測できなくなる点です。
従来のアプリケーションでは、リソース消費は比較的一定しています。一方、AIシステムでは、リソース消費が突発的に増加し、膨大なコンピューティング能力を必要とするうえ、リクエストによって大きく変動します。そのため、従来はキャパシティプランニングの問題だったものが、リアルタイムのリソース割り当ての問題へと変わります。
リソース利用効率の低下がもたらす影響
パフォーマンスへの影響
従来のシステムでは、リソース利用の非効率性が負荷分散の偏りとして現れます。一部のサーバーがアイドル状態にある一方で、別のサーバーには過剰な負荷がかかります。その結果、応答時間が長くなり、処理能力が無駄になります。AIでは、これとは異なる種類の不均衡が生じます。
推論ワークロードは一様ではありません。ほとんど負荷のかからないリクエストもあれば、プロンプトのサイズ、コンテキスト長、推論の深さによって、桁違いのコンピューティングリソースを消費するリクエストもあります。同じモデル内でも、リクエストごとにパフォーマンスが大きく異なる場合があります。
このような変動性により、負荷を予測して効果的に分散することがはるかに難しくなります。
リクエストの計算負荷を考慮せずにルーティングすると、負荷が一部に集中します。GPUや推論ノードが予期せず飽和し、キューが蓄積して、レイテンシが急増します。一方、他のリソースはそのワークロードの処理先として選択されなかったため、十分に活用されないままとなります。
つまり、負荷分散の偏りという従来からのパフォーマンス上の問題は残りますが、その原因は変わります。送信されるリクエストの数だけでなく、各リクエストの処理にどれだけのコストがかかるかが問題になります。
可用性への影響
従来のADC10では、リソース利用率の低さを、ワークロードを効率的に維持する能力など、デリバリー全般に関わる懸念と関連付けています。AIでは、非効率なリソース利用が可用性に不釣り合いなほど大きな影響を直接及ぼす可能性があります。
AIワークロードは、限られたリソース、特にGPUのような専用コンピューティングリソースによる制約を受けます。こうしたリソースを使い果たすと、システムの性能は緩やかに低下するのではなく、処理が停滞します。リクエストはキューに滞留するか失敗し、タイムアウトが増加します。
さらに難しいのは、可用性が単なるキャパシティだけでなく、リソースの割り当て判断にも左右される点です。
システム全体では十分な総容量があっても、適切な場所やタイミングで、適切な種類のリクエストに利用できなければ、システムはリソースが枯渇しているかのように動作します。モデルのエンドポイントは技術的にはオンラインでも、追加の処理を受け付けられない場合があります。リージョンに未使用の容量があっても、レイテンシやコンプライアンス上の制約により利用できないことがあります。より低コストのモデルが利用可能でも、ルーティングロジックの柔軟性が低いために選択されない場合があります。
その結果、可用性が分断された状態が生じます。システム内で選択される経路によっては、一部しか利用できません。
これは、単純な稼働時間の確保よりも難しい問題です。モデル、リージョン、階層の間で、ワークロードをリアルタイムかつインテリジェントに移行できる能力が求められます。
スケーラビリティへの影響
リソースを非効率に使用すると、本来はより効率的に処理できるワークロードに対応するためにインフラストラクチャを追加し、組織は時期尚早なスケールアウトを余儀なくされます。これまでも、その結果として過剰なリソースがプロビジョニングされ、クラウド環境ではコストが急増する可能性がありました。AIはこの傾向を大幅に加速させます。
推論には多額のコストがかかります。埋め込みとコンテキストに必要なストレージは急速に増大し、データパイプラインも拡大します。リソースを効率的に使用できなければ、通常は容量を追加することになります。この方法もしばらくは有効です。
しかし、サーバーの増設は、コスト面でも運用面でもすぐに持続不可能になります。AIシステムのスケーリングでは、単にサーバーを増やすだけでなく、パフォーマンスとコストの特性がそれぞれ異なる多様なコンピューティングタイプを複合的に管理する必要があります。
利用率が低い場合、スケーリングしても非効率性は解消されず、むしろ増大します。
別の方法は、リソースの使用方法について、より的確に判断することです。具体的には、タスクに適したモデルを選択し、コンテキストを取得するタイミングと方法を最適化するとともに、静的なルールではなくリアルタイムの状況に基づいてワークロードを分散させます。
つまり、スケーラビリティを左右するのは、保有するインフラストラクチャの量よりも、それをいかに賢く活用するかです。
運用効率への影響
リソースの利用効率が低いと、従来から運用コストと複雑さが増大します。過剰なプロビジョニングはコストの無駄につながります。一方、プロビジョニングが不足するとリソース競合が発生し、事後対応的なスケーリングを余儀なくされます。AIは、この両方の問題をさらに深刻化させます。
ワークロードは予測が難しいため、チームは過剰に備えがちです。パフォーマンス上の問題を回避するため、必要と見込まれる以上のキャパシティをプロビジョニングします。その結果、特に需要が変動する場合には、相当量のリソースがアイドル状態になります。
同時に、予期せぬ急増は依然として発生します。複雑な推論リクエストが急増すると、過剰にプロビジョニングしていても、利用可能なリソースでは処理しきれない場合があります。その結果、チームは余剰キャパシティとパフォーマンス低下の両方に対処しなければなりません。
運用面では、常にバランスを取る必要が生じます。
チームは、しきい値の調整やルーティングルールの変更に時間を費やし、特定のワークロードが不釣り合いに多くのリソースを消費する理由の把握にも取り組むことになります。作業単位が均一ではなくなるため、オブザーバビリティの重要性が増す一方で、その確保はより困難になります。
したがって、効率性は可視性と制御に左右されます。この両方がなければ、リソース管理は事後対応に陥り、コストが増大します。
リソース使用率を最適化するためのベストプラクティス
プログラム可能なインフラストラクチャと動的割り当て
従来型アプリケーションでは、プログラム可能なインフラストラクチャと動的なトラフィックステアリングが重要なソリューションとなります。リアルタイムの指標に基づいてトラフィックをルーティングすることで、組織はシステム全体の負荷を分散し、利用効率を向上できます。AIでは、このアプローチが極めて重要になります。
静的負荷分散では、各リクエストの負荷はほぼ同等であることを前提としています。しかし、AIではこの前提が成り立ちません。リクエストからリソース消費量を予測できなくなっているため、接続数や単純なアルゴリズムによる分散だけでなく、リクエストの処理コスト、モデルのパフォーマンス、システムの状態を把握したうえでルーティングする必要があります。
プログラマビリティにより、リアルタイムで状況に適応できます。レイテンシ、コスト、可用性に応じて、リクエストを異なるモデルに振り分けることが可能です。状況の変化に合わせて、リージョン間またはクラスター間でワークロードを移行できます。リソースが制約されている場合は、コストの高い処理を抑制または延期できます。
これにより、リソース使用率は受動的に決まる結果ではなく、能動的な制御ループへと変わります。
インテリジェントルーティングによる効率化
ADC10の本質は、リソースを効率的に活用することにあります。AIは「効率的」の意味をさらに広げます。
もはや、トラフィックを均等に分散するだけではありません。適切なワークロードを適切なリソースに割り当てることが重要です。
たとえば、単純なリクエストには、最も高性能なモデルをデフォルトで使用するのではなく、より小規模なモデルを使用することが考えられます。コンピューティングコストを削減するために、コンテキストサイズを制限する場合もあります。結果を再計算せず、キャッシュまたは再利用することも考えられます。また、AIをまったく使用すべきでない状況を見極めることも重要です。
これらの判断はすべて、従来の負荷分散よりも上位のレイヤーで行われます。単にトラフィックを把握するだけでなく、意図を理解する必要があります。
ここで、アプリケーションデリバリは再び進化します。ルーティングはリソースオーケストレーションへと変わります。目指すのは、単にシステムを稼働させ続けることではありません。あらゆるコンピューティングリソースを効果的に活用することです。
まとめ
ADC10は一貫して、無駄を省き、パフォーマンス、可用性、スケーラビリティを支えるインフラストラクチャの効率的な活用を目指してきました。
AIがもたらすのは変動性です。
リソース消費量はもはや予測できません。ワークロードごとのコストには大きなばらつきがあります。専用コンピューティングには新たな制約が伴います。さらに、各リクエストのコストが高いため、非効率性による影響はより急速に拡大します。
対応は当初のガイダンスと同じパターンに従いますが、より迅速な対応が求められます。
リソースがどのように消費されているかを可視化する必要があります。リアルタイムで適応できるプログラマビリティも必要です。さらに、リクエスト数だけでなく、各リクエストの実際のコストを考慮した、よりスマートなルーティング判断が求められます。
AI駆動型システムでは、リソースの利用効率が低いことは、単なる無駄にとどまらないからです。
それは、パフォーマンスの低下、可用性の制約、コストの際限ない増大に直結します。
世界中の組織が直面する「アプリケーションデリバリーにおける課題トップ10」について詳しくご覧ください。
著者について
Lori MacVittieは、F5のOffice of the CTOに所属するDistinguished Engineer兼Chief Evangelistであり、アプリケーションデリバリ、自動化戦略、インフラストラクチャに関する深い専門知識を有しています。AIエージェントのガードレール策定、脆弱なマルチクラウドアーキテクチャの分析、スケーラブルなシステムの限界の検証など、複雑な事柄を明快にすることで知られています。アプリケーション開発、ITアーキテクチャ、ネットワークおよびシステム運用の分野で、30年以上にわたる業界経験を有しています。F5入社前は、受賞歴のあるテクノロジー編集者として活躍していました。 MacVittieはコンピューターサイエンスの修士号を取得しており、セキュリティ、クラウド、エンタープライズアーキテクチャにわたる分野で多数の著作を発表しています。また、テーブルトークゲームとビデオゲームをこよなく愛し、チーズについては遠慮なく強いこだわりを語ります。
Lori Mac Vittieのその他のブログ記事関連するブログ記事
Application Delivery Top 10とは？
F5は、Application Delivery Top 10リストを通じて、アプリケーション、API、生成AIの配信とセキュリティ確保に伴う課題への組織の対応を支援することを目指しています。
AIアプリケーションデリバリのトップ10：個別仕様のアプリケーション要件
AIにより、「個別対応」は例外ではなく標準になります。リクエストがモデル選択、検索、ポリシー、ツールを組み合わせた処理チェーンになるため、デリバリーはアプリ単位ではなく、リクエストごとに適応する必要があります。
AIアプリケーションデリバリの10大課題：セキュリティと規制遵守の欠如
AIにより、コンプライアンスの対象は経路やストアのセキュリティ確保から、モデルへのアクセス、検索コンテキスト、出力、エージェントのアクションといったランタイム動作のガバナンスへと広がります。そのため、制御を推論処理により近い場所へ移す必要があります。
AIアプリケーションデリバリのトップ10：互換性のないデリバリポリシー
ポリシーの不整合がAI障害を引き起こします。フェイルオーバー、タイムアウト、制限、セキュリティ制御に一貫性がないと、ソフト障害や不完全な結果が発生し、エンドポイントごとに異なる結果が生じます。
AIアプリケーションデリバリーの課題トップ10：レイテンシーに対応できない
AIにより、レイテンシは単なるパフォーマンス上の問題ではなく、信頼に関わる問題になります。「アシスタント」の応答が遅いと、ためらいや障害のように感じられます。また、トークン数の多いプロンプトや出力は、システムが正常でも処理負荷を増大させます。
AIアプリケーションデリバリーの課題トップ10：最適化されていないトラフィックステアリング
AIは従来のトラフィックステアリングの前提を覆します。バックエンドには互換性がなく、コストも異なり、エージェントは予測不能に処理を分散させるため、ルーティングではモデル、GPUの稼働状態、データの局所性を考慮する必要があります。