クラウドネイティブアプリが数本の庭用ホースだとすれば、AI推論とエージェントシステムは、消防士のヘルメットをかぶり、ジュースの紙パックを手にした幼児が操作する業務用スプリンクラー設備のようなものです。水がどこへ向かっているかは分かっているつもりでも、実際には分かっていません。気づいたときには、すでに高価な何かが水浸しになっています。
推論ワークロードとエージェント主導の実行は、従来のサービスとは異なる挙動を示します。予測可能なリクエストパスに従わず、同じワークフローを一貫して繰り返すこともなく、問題が起きても穏便には収まりません。独自にランタイムを形成し、部分的な結果に基づいて処理先を変更し、再試行が賢明だと判断すれば実行し、変動の激しいバースト状にリソースを消費します。オブザーバビリティ戦略を平均値、ロールアップ、または30秒間隔のダッシュボードに依存させるのは、運用上の重大な過失です。
パフォーマンスへの影響
推論レイテンシは単一の指標ではなく、特定の1つの階層だけに左右されるものでもありません。モデルの選択、トークン数、GPUキューの深さ、上流データへのアクセス時間に加え、処理中にエージェントが行う複雑なプロンプト操作によって変動します。さらに、エージェントは事前に動作を明示せずに分岐、連鎖、再試行を行うため、状況はいっそう複雑になります。
意図、トークン生成、モデルの処理経路、実行系統の各レベルでパフォーマンスを可視化できなければ、誤ったコンポーネントを原因と見なし、誤った階層を最適化したり、誤ったリソースをスケーリングしたりすることになります。その一方で、人間か自動化システムかを問わず、ユーザーは単に「AIは遅い」と判断します。
可用性への影響
従来のヘルスチェックで確認できるのは、「応答したか」だけです。AIワークロードでは、「このタスクで期待される範囲内で応答したか」を確認する必要があります。
推論システムが停止することはまれです。むしろ、丁寧に応答しているように見えても、実用に耐えない状態へと劣化します。タスクの種類、想定されるレイテンシーの下限、品質のしきい値を可視化できなければ、応答の遅延、古いキャッシュのヒット、表面化しにくいハルシネーションのいずれも、正常な処理に見えかねません。エージェントによる判断が積み重なると、再試行は目に見えないループとなり、何かが破綻する直前まで通常のトラフィックに見えます。
ここで運用上の悪夢となるのはダウンタイムではなく、誤っている、不完全である、またはコンテキストに適していないにもかかわらず、成功と見なされることです。
スケーラビリティへの影響
可視化できないものはスケーリングできず、コストの帰属先を特定できないものはコスト最適化もできません。AIのキャパシティプランニングでは、以下を考慮する必要があります。
- トークンスループット
- モデルの同時実行数とモデル切り替えのコスト
- GPU飽和
- エージェントの再試行の増加
- 1回の呼び出しあたりのコスト
- 連鎖するステップ全体での実行時間の長期化
そのレベルの可視性がなければ、過剰なプロビジョニング（コスト面での後悔）と不十分なプロビジョニング（サポートへの問い合わせ、苛立つPM、エスカレーション対応会議）の間を行き来することになります。どちらも成熟度の証明にはならず、オブザーバビリティの負債があることを示すだけです。
ベストプラクティス
AIの完全なオブザーバビリティで重要なのは、ログを増やすことではありません。AIが何をしようとしたのか、実際に何をしたのか、そのために何を消費したのかを把握できる、より迅速で詳細な、動作に即したテレメトリを取得することです。そのためには、何が起きたかだけでなく、なぜ起きたのか、どのような前提に基づいていたのか、どの程度のコストがかかったのかまで説明できる計測が必要です。
これは、エージェントが構成したワークフローの実行系統を追跡し、コストとレイテンシーを主要な運用シグナルとして扱い、モデルの動作をエンドポイントではなく意図と関連付け、エージェントが宣言した期待事項をオブザーバビリティのメタデータに組み込むことを意味します。メタデータは「リクエスト情報」から「ランタイム契約」へと進化し、呼び出しレベルでレイテンシーバジェット、再試行設定、データ機密性ラベル、エージェントの優先度階層、コスト上限を含むようになります。
この進化に伴い、高速テレメトリプレーンが台頭すると考えられます。これは、ストレージを逼迫させたりSLOを脅かしたりすることなく、トークン単位、ステップ単位、エージェント単位のシグナルを取得できるよう専用設計された、サブミリ秒のデータストリームです。このテレメトリプレーンは推論レイヤーの近くに配置され、セマンティック圧縮をサポートし、コスト、キャパシティ、健全性、意図との整合性に関する低レイテンシーのインサイトを継続的に提供する可能性があります。これがなければ、AIオブザーバビリティは既存のパイプラインを圧迫するか、有用なタイミングに間に合わなくなるでしょう。
システムには、このテレメトリをバッチ処理ではなくほぼリアルタイムで取り込み、相関付けて分析し、その結果を活用して、適応型ルーティング、エージェントのスロットリング、より低コストな推論パスの選択を行うとともに、制御不能なワークフローが障害や高額請求につながる前に早期検出することが求められます。
AIが加わると、デリバリーは変わる
AIの障害は、明確な形で、予測どおりに、あるいは目立って発生するとは限りません。また、不完全なオブザーバビリティでは、ビジネス部門が気づくまで障害を把握できません。
インテリジェンスが新たなアプリケーション層であるなら、オブザーバビリティの焦点は「何が起きたのか」から、「何が起きるはずだったのか、なぜこの経路を選んだのか、そしてそのレイテンシ、リスク、コストに見合う価値があったのか」へと移行しなければなりません。
その問いにリアルタイムで答えられるようになれば、AIを導入する準備は整っています。
世界中の組織が直面しているアプリケーションデリバリーに関する課題トップ10について詳しくご覧ください。
著者について
Lori MacVittieは、F5のOffice of the CTOに所属するDistinguished Engineer兼Chief Evangelistであり、アプリケーションデリバリ、自動化戦略、インフラストラクチャに関する深い専門知識を有しています。AIエージェントのガードレール策定、脆弱なマルチクラウドアーキテクチャの分析、スケーラブルなシステムの限界の検証など、複雑な事柄を明快にすることで知られています。アプリケーション開発、ITアーキテクチャ、ネットワークおよびシステム運用の分野で、30年以上にわたる業界経験を有しています。F5入社前は、受賞歴のあるテクノロジー編集者として活躍していました。 MacVittieはコンピューターサイエンスの修士号を取得しており、セキュリティ、クラウド、エンタープライズアーキテクチャにわたる分野で多数の著作を発表しています。また、テーブルトークゲームとビデオゲームをこよなく愛し、チーズについては遠慮なく強いこだわりを語ります。
Lori Mac Vittieのその他のブログ記事関連するブログ記事
AIアプリケーションデリバリのトップ10：フォールトトレランスとレジリエンスの欠如
AIにより、従来からあるレジリエンス上のギャップがもたらすコストは大幅に増大します。単一のGPUや依存関係の障害が同期推論チェーン全体に連鎖し、レイテンシーが累積して出力品質が低下します。
AIアプリケーションデリバリーのトップ10：脆弱なDNS運用
推論システムやエージェント型システムでは、DNSのレジリエンスが可用性とパフォーマンスを左右します。名前解決に問題があると、誤ったルーティング、レイテンシの急増、複数リージョンにわたるサービス停止につながります。
Application Delivery Top 10とは？
F5は、Application Delivery Top 10リストを通じて、アプリケーション、API、生成AIの配信とセキュリティ確保に伴う課題への組織の対応を支援することを目指しています。
振る舞いと境界：エージェント型AIがもたらすセキュリティの転換
エージェントは、時間の経過とともにリスクが蓄積する、予測困難で際限のない一連の処理を生み出します。セキュリティでは、単一リクエストの検証から、複数のステップで変化し続けるフロー全体にわたる継続的な振る舞いのガバナンスへと移行する必要があります。
AIが新たなトラフィックタイプの出現を促進
AIの導入により、新たに主要なトラフィック種別が生まれています。推論リクエストに加え、機械駆動型の自動化トラフィックや、制御ループにデータを供給する大量のテレメトリトラフィックです。
パケットからプロンプトへ：推論がスタックに新たなレイヤーを追加
推論はトレーニングでも、実験でも、データサイエンスの演習でもありません。推論は本番環境におけるランタイムの動作であり、アプリケーション層と同様に機能します。