AIアプリケーションデリバリーの課題トップ10：最適化されていないトラフィックステアリング

Lori Mac Vittie特別技術者兼チーフエバンジェリスト | F5

トラフィックステアリングは、リクエストの送信先、システム内での流れ、各ワークロードを処理するリソースを決定します。従来のアプリケーションデリバリでは、ステアリングによってインフラストラクチャを効率的に活用し、サーバー、サービス、リージョン間でトラフィックを円滑に分散できます。しかし、AIの導入により、新たな種類のトラフィック、依存関係の連鎖、コンピューティングリソースへの新たな負荷が生じます。モデルの規模、コンピューティングリソースの可用性、エージェントの動作、データの局所性を考慮した最新のステアリング戦略がなければ、組織はデリバリスタック全体で、回避可能な処理遅延、コスト増加、脆弱性の増大に直面します。

従来のトラフィックステアリングは、ワークロードが予測可能で、サーバーの処理能力が比較的均一であることを前提としています。また、どのバックエンドインスタンスでも、すべての有効なリクエストを処理できると想定しています。しかし、リソースごとに処理能力、コスト、可用性が大きく異なるAIシステムでは、この前提は成り立ちません。トラフィックステアリングを最適化しなければ、一部の経路に負荷が集中する一方で処理能力を十分に活用できず、システム全体の性能を低下させるボトルネックが生じます。

AIへのシフト

AIワークロードには互換性があるとは限りません。ある種類のGPUで動作するモデルが、別の種類のGPUでは同じように動作せず、まったく収まらない場合もあります。レイテンシは、バッチサイズ、トークンスループット、モデルのバリアント、プロンプトの複雑さによって異なります。エージェントは複数のツールやサービスを連携させるため、コンテキストや推論経路に応じて、トラフィックがスタック内の異なるレイヤーを通過します。

以下の要素を考慮して判断する必要があるため、トラフィックの振り分けはより複雑になります。

• モデル固有のハードウェア要件
• 変動する推論コスト
• 地域ごとのデータ制限
• 埋め込みとベクトルストアをめぐるデータグラビティ
• エージェントによる予測困難なファンアウト動作

AIシステムにおける最適なバックエンドは、単に「負荷が最も低いもの」ではありません。「この特定の種類のAIタスクを、正確かつ法的要件に準拠して効率的に実行できるもの」です。従来のトラフィックステアリングでは、こうした違いを判別できません。

パフォーマンスへの影響

不適切なステアリングは、さまざまな形でパフォーマンスを低下させます。トラフィックがGPU容量の不足しているバックエンドにルーティングされると、トークン生成が遅くなり、レイテンシーが増加する可能性があります。また、ステアリングの判断でデータの局所性が考慮されないため、リクエストがリージョン間やデータレイヤー間を不必要に移動し、応答時間が長くなる可能性があります。

ステアリングでワークロードの種類が考慮されないと、エージェントが生成したトラフィックは不適切なモデル階層に振り分けられます。たとえば、単純なタスクに過大なモデルが、複雑なタスクに過小なモデルが使用されるケースです。その結果、効率が低下し、スループットが悪化します。水平方向にスケールするAIサービスが増えるにつれ、一貫性のないステアリングがレイテンシーのばらつきや処理のボトルネックを直接引き起こす要因となります。

可用性への影響

AIワークロードは、システムを限界まで稼働させます。最適化されていないトラフィックステアリングにより、特定のGPUノードや推論クラスターに突発的な過負荷が発生し、スロットリング、コールドスタート、さらには完全な障害につながる可能性があります。エージェントは応答の遅いエンドポイントに遭遇すると、再試行やエスカレーションを行うことが多いため、不適切なトラフィックステアリングは間接的にトラフィックを増幅させ、可用性の問題を悪化させます。

リージョンのキャパシティやデータレジデンシーを考慮しないトラフィックステアリングでは、リクエストがリソースの逼迫したゾーンを経由するよう意図せずルーティングされ、局所的な障害が発生する可能性があります。また、モデルの健全性、GPUの飽和度、1秒あたりのトークン数の低下といったAI指標に合わせて調整されたヘルスチェックをトラフィックステアリングに組み込まなければ、ローテーションから除外すべき状態になった後も、異常のあるバックエンドにトラフィックが流れ続けます。

信頼性への影響

AIワークロードで一貫した出力を得るには、安定した予測可能なルーティングが不可欠です。振り分けに一貫性がない場合や、ワークロードの特性が考慮されていない場合、システムの動作は予測不能になります。同一の2つのリクエストが、パフォーマンス特性の異なる別々のモデルバリアントにルーティングされ、不規則なレイテンシーや応答のばらつきにつながる可能性があります。

エージェント型ワークフローでは、信頼性の低いルーティングによって、相互に依存する一連のアクションが途切れる可能性があります。1つのセグメントが低速または過負荷状態のバックエンドにルーティングされると、再試行や再計画の影響がパイプライン全体に波及し、後続処理のリスクが増大します。また、最適化されていないルーティングでは、トラフィックの転送先に一貫性がなくなり、障害の再現や診断が難しくなるため、デバッグも複雑になります。

最適化されていないトラフィックステアリングを軽減するためのベストプラクティス

AI時代のトラフィックステアリングを効果的に最適化するには、次の2点が重要です。ワークロードが競合しないようにトラフィックをセグメント化することそして、リアルタイムで適応できるプログラム可能なステアリングロジックを使用すること。これにより、モデルの負荷、エージェントの動作、データの局所性における予測不能な変化に対応できます。

まず、トラフィックのセグメンテーションから始めます。対話型リクエスト、バッチジョブ、エージェントが生成するフロー、負荷の高い推論タスクを、それぞれ異なるルーティング経路に分離します。ワークロードごとに求められるパフォーマンス特性は異なります。たとえば、レイテンシーの影響を受けやすいタスクには、高速で負荷の低いバックエンドが必要です。一方、大量処理や探索的なエージェントワークフローでは、優先度を下げたり、処理を遅らせたりすることが可能です。セグメンテーションにより、ノイズが多い、または突発的に増加するAIフローを分離し、ユーザー向けの経路や共有サービスに過剰な負荷がかかるのを防ぎます。

次に、プログラム可能なトラフィック振り分けルールを導入します。静的な振り分け戦略は、均一なバックエンドと予測可能なリクエスト形式を前提としているため、AIの負荷がかかると機能しなくなります。プログラム可能にすることで、デリバリーレイヤーは、GPU使用率、トークンスループット、キューの深さ、モデルタイプ、さらにはプロンプトサイズといったリアルタイムの状況に基づいてトラフィックをルーティングできます。モデルの健全性が低下した場合、特定のリージョンのエンベディングストアが過負荷になった場合、または特定クラスのリクエストに特定のハードウェアプロファイルが必要な場合、プログラム可能なロジックが直ちにルーティングを調整します。これにより、AIパイプラインの応答性を維持し、連鎖的な処理遅延を防ぎます。

最後に、トラフィックステアリングを「データローカリティ」に合わせます。推論タスクと検索タスクを、それぞれが使用する埋め込みデータまたは構造化データに最も近いリージョンやコンピューティングプールにルーティングします。これにより、レイテンシが短縮され、不要なリージョン間トラフィックを回避できます。特に、複数の検索ステップと推論ステップを連鎖させるエージェント型ワークフローで効果を発揮します。

これらの緩和策が有効なのは、セグメンテーションとレート制限によって動作を一定の範囲内に抑えつつ、プログラマビリティによる適応型インテリジェンスを組み合わせているためです。AIワークロードの動作は予測困難ですが、プログラム可能なトラフィックステアリングにより、予測可能な動作に依存せずに環境の安定性を維持できます。

まとめ

AIにより、トラフィックはおおむね予測可能なものから、動的かつ変動し、しばしば自己増幅するものへと変化しました。静的なポリシーと均一なバックエンドを前提とする従来のトラフィックステアリング手法では、実行中に特性が変化し、複数のリソースタイプにまたがり、リアルタイムのモデル動作に応じて変動するワークロードに対応しきれません。最適化されていないトラフィックステアリングは、システムの速度を低下させるだけでなく、スタック全体のパフォーマンス、可用性、信頼性を徐々に損ないます。

適切なトラフィックステアリング戦略を採用すれば、AIワークロードが複雑化し、アプリケーションの動作における重要性が高まっても、組織は安定性を維持できます。最適化されたトラフィックステアリングは、負荷が高い状況でもパフォーマンスを維持し、トラフィック急増時の可用性を確保するとともに、AIが従来のトラフィックのルールに従わない環境でも信頼性の高い動作を支える制御ポイントとなります。

世界中の組織が直面するアプリケーションデリバリーの課題トップ10について詳しくご覧ください。

著者について

Lori Mac Vittie特別技術者兼チーフエバンジェリスト | F5

Lori MacVittieは、F5のOffice of the CTOに所属するDistinguished Engineer兼Chief Evangelistであり、アプリケーションデリバリ、自動化戦略、インフラストラクチャに関する深い専門知識を有しています。AIエージェントのガードレール策定、脆弱なマルチクラウドアーキテクチャの分析、スケーラブルなシステムの限界の検証など、複雑な事柄を明快にすることで知られています。アプリケーション開発、ITアーキテクチャ、ネットワークおよびシステム運用の分野で、30年以上にわたる業界経験を有しています。F5入社前は、受賞歴のあるテクノロジー編集者として活躍していました。 MacVittieはコンピューターサイエンスの修士号を取得しており、セキュリティ、クラウド、エンタープライズアーキテクチャにわたる分野で多数の著作を発表しています。また、テーブルトークゲームとビデオゲームをこよなく愛し、チーズについては遠慮なく強いこだわりを語ります。

Lori Mac Vittieのその他のブログ記事