AIエージェント時代のオブザーバビリティ

Lori Mac Vittie特別技術者兼チーフエバンジェリスト | F5

AIエージェントはすでに登場しており、単にAPIを呼び出したり、コンテンツを配信したりするだけではありません。思考し、判断し、計画を立て、タスクを委任します。しかも、これらをインフラストラクチャ、サービス、トラフィック管理スタック全体で実行します。

問題は何でしょうか。ほとんどのシステムは、AIエージェントが何をしているのか把握できていません。

従来のオブザーバビリティは、サービスを追跡するために構築されました。つまり、リクエスト、レスポンス、レイテンシー、パスといった実体のあるものです。リクエストが発生した理由ではなく、発生したという事実だけを把握する仕組みでした。しかし今では、トラフィックがエージェント内部の再帰的な推論ループから発生する可能性があります。それでもログに記録されるのは、ペイロードを伴う/searchへのPOSTと200だけです。

それはオブザーバビリティではありません。ブラックボックス化です。

AIエージェントを安全に運用可能な状態にするには、特に本番環境において、トラフィック管理システムが戦略に不可欠な要素となります。

しかし、その前にオブザーバビリティを進化させる必要があります。その第一歩は、3つの重大なギャップへの対応です。

1. リクエストだけでなく、判断もログに記録する

エージェントは単に応答するだけではありません。判断し、評価します。処理を保留したり、経路を変更したり、エスカレーションしたり、ツールを呼び出したりします。HTTPレイヤーしかログに記録していない場合、本当に重要な部分、つまり「なぜそれが起きたのか」を把握できません。

エージェントの意図、選択したアクション、評価した代替案、結果を記録する構造化ログが必要です。必要なのは、ステータスコードだけではなく、意思決定の経路です。

対応方法：

• ログ形式を拡張し、intent, action taken, confidence score, やpolicy constraint.などのセマンティックフィールドを含めます。
• 意思決定に、その決定を行ったエージェントのタグを付け、ツール呼び出し全体を通じてエンドツーエンドで追跡します。

2. パスだけでなくセマンティクスも追跡する

AIエージェントから同じエンドポイントに送信される2つのPOSTは、まったく異なる意味を持つ場合があります。一方はファクトチェックのリクエスト、もう一方はコンテンツ生成のトリガーかもしれません。パスは同じでも、目的、コンテキスト、リスクは異なります。

つまり、ルーティングとオブザーバビリティにおいて、セマンティックタグ付けを中核的な要素として扱う必要があります。

対処方法：

• インライン検査（ペイロードまたはヘッダー）を使用して、次のようなインテントタグを抽出します。summarize, verify_identity, or generate.
• それらのタグを、ルーティング、レート制限、認証の判断に活用します。すべてのPOSTを一律に扱わないでください。

3. 経時的に動作を監視する

エージェントは、ステートレスなクライアントのようには動作しません。進化し、再試行し、停滞し、適応します。そのため、オブザーバビリティシステムは、単一リクエストのトレースにとどまらず、行動プロファイルの構築に取り組む必要があります。

エージェントにとって何が「通常」なのかを把握する必要があります。再試行の回数、使用するツール、タスクの所要時間などです。そして、それらに変化があった場合も把握する必要があります。

対処方法：

• 各エージェントIDについて、再試行回数、タスクの深さ、ツールの使用状況の移動メトリクスを追跡します。
• 異常を検知したらアラートを発します：ループ、レイテンシーの変動、ツールの過剰な切り替え。

トラフィック管理への影響

これらはすべて、アプリケーションのトラフィック管理、セキュリティ確保、スケーリングを担うシステムに現実的な影響を及ぼします。

AIエージェントはユーザーではありません。クライアントでも、従来の意味でのサービスですらありません。自律型ワークフローです。オブザーバビリティを起点に、そのような存在として扱わない限り、実態を把握できないまま運用を続けることになります。

つまり、もはやトラフィックを単なるトラフィックとして捉えることはできません。インフラストラクチャも、それを前提に動作すべきではありません。

エージェントに監視されているつもりで、ログの記録を始めましょう。実際に監視されている可能性が高いからです。

著者について

Lori Mac Vittie特別技術者兼チーフエバンジェリスト | F5

Lori MacVittieは、F5のOffice of the CTOに所属するDistinguished Engineer兼Chief Evangelistであり、アプリケーションデリバリ、自動化戦略、インフラストラクチャに関する深い専門知識を有しています。AIエージェントのガードレール策定、脆弱なマルチクラウドアーキテクチャの分析、スケーラブルなシステムの限界の検証など、複雑な事柄を明快にすることで知られています。アプリケーション開発、ITアーキテクチャ、ネットワークおよびシステム運用の分野で、30年以上にわたる業界経験を有しています。F5入社前は、受賞歴のあるテクノロジー編集者として活躍していました。 MacVittieはコンピューターサイエンスの修士号を取得しており、セキュリティ、クラウド、エンタープライズアーキテクチャにわたる分野で多数の著作を発表しています。また、テーブルトークゲームとビデオゲームをこよなく愛し、チーズについては遠慮なく強いこだわりを語ります。

Lori Mac Vittieのその他のブログ記事