ADC Top 10に関するブログ記事
Application Delivery Top 10
ADC Top 10に関するブログ記事(10)
AIアプリケーションデリバリーのトップ10：リソース使用効率の低さ
AIではリソース使用率が変動しやすくなります。リクエストのコストはプロンプト、コンテキスト、推論によって大きく異なるため、単純にRPSに基づいてルーティングすると、GPUへの負荷集中、キューの滞留、レイテンシの急増が発生します。
著者：Lori Mac Vittie
AIアプリケーションデリバリのトップ10：個別仕様のアプリケーション要件
AIにより、「個別対応」は例外ではなく標準になります。リクエストがモデル選択、検索、ポリシー、ツールを組み合わせた処理チェーンになるため、デリバリーはアプリ単位ではなく、リクエストごとに適応する必要があります。
著者：Lori Mac Vittie
AIアプリケーションデリバリの10大課題：セキュリティと規制遵守の欠如
AIにより、コンプライアンスの対象は経路やストアのセキュリティ確保から、モデルへのアクセス、検索コンテキスト、出力、エージェントのアクションといったランタイム動作のガバナンスへと広がります。そのため、制御を推論処理により近い場所へ移す必要があります。
著者：Lori Mac Vittie
AIアプリケーションデリバリのトップ10：互換性のないデリバリポリシー
ポリシーの不整合がAI障害を引き起こします。フェイルオーバー、タイムアウト、制限、セキュリティ制御に一貫性がないと、ソフト障害や不完全な結果が発生し、エンドポイントごとに異なる結果が生じます。
著者：Lori Mac Vittie
AIアプリケーションデリバリーの課題トップ10：レイテンシーに対応できない
AIにより、レイテンシは単なるパフォーマンス上の問題ではなく、信頼に関わる問題になります。「アシスタント」の応答が遅いと、ためらいや障害のように感じられます。また、トークン数の多いプロンプトや出力は、システムが正常でも処理負荷を増大させます。
著者：Lori Mac Vittie
AIアプリケーションデリバリーの課題トップ10：最適化されていないトラフィックステアリング
AIは従来のトラフィックステアリングの前提を覆します。バックエンドには互換性がなく、コストも異なり、エージェントは予測不能に処理を分散させるため、ルーティングではモデル、GPUの稼働状態、データの局所性を考慮する必要があります。
著者：Lori Mac Vittie
AIアプリケーションデリバリーのトップ10：不十分なトラフィック制御
従来のレート制限やスロットリングでは、実際の影響範囲を捉えきれません。AIワークロードはモデル、ベクトルストア、サービスへと処理を分散させるため、レイテンシの急増、連鎖的な障害、再試行を引き起こします。
著者：Lori Mac Vittie
AIアプリケーションデリバリの課題トップ10：不完全なオブザーバビリティ
AIは、それ自体ではスケールしません。ツールと管理責任の境界を統合する一元的なコントロールプレーンがなければ、推論は最も脆弱で、調整負荷の高い階層になります。
著者：Lori Mac Vittie
AIアプリケーションデリバリのトップ10：フォールトトレランスとレジリエンスの欠如
AIにより、従来からあるレジリエンス上のギャップがもたらすコストは大幅に増大します。単一のGPUや依存関係の障害が同期推論チェーン全体に連鎖し、レイテンシーが累積して出力品質が低下します。
著者：Lori Mac Vittie
AIアプリケーションデリバリーのトップ10：脆弱なDNS運用
推論システムやエージェント型システムでは、DNSのレジリエンスが可用性とパフォーマンスを左右します。名前解決に問題があると、誤ったルーティング、レイテンシの急増、複数リージョンにわたるサービス停止につながります。
著者：Lori Mac Vittie