アプリケーションデリバリでは、常にパフォーマンス、可用性、信頼性という3つの要素を確保することが重視されてきました。クライアントサーバーからWeb、クラウドに至るまで、アプリケーションアーキテクチャが世代を重ねる中で、これらの原則が成功の基準となってきました。しかし、人工知能、特に推論の登場によって、その前提は変わります。
現在、企業の80%が自社で推論サーバーを運用していると回答しています。推論はもはや実験段階ではありません。ビジネスに実質的な影響を及ぼす、主流のワークロードとなっています。しかし、多くの組織はいまだに推論エンドポイントを「単なるAPIの1つ」として扱っています。この認識にはリスクがあります。従来のAPIとは異なり、推論リクエストは確率的で、計算負荷が高く、コンテキストの影響を受けやすいという特性があります。推論リクエストを従来型のワークロードとして扱うと、アプリケーションデリバリ本来の目標が損なわれ、組織は新たな種類の運用リスクやセキュリティリスクにさらされます。
今回は、推論によってアプリケーションデリバリのパフォーマンス、可用性、信頼性（PAR）という3要素がどのように変化するのかを考察します。また、企業が考慮すべきアルゴリズム上の違いを整理し、ヘルスモニタリング、負荷分散、トラフィック最適化、セキュリティなどのデリバリ技術への影響を明らかにします。
PARの3要素：アプリケーションデリバリの基盤
セキュリティが機密性、完全性、可用性からなるCIAトライアドを基盤とするように、アプリケーションデリバリも、パフォーマンス、可用性、信頼性という独自のトライアドを基盤としています。
- パフォーマンス：アプリケーションは、ユーザーの期待に応えられる速さで応答していますか？
- 可用性：高負荷時でもアプリケーションにアクセスでき、有効な結果が返されますか？
- 信頼性：アプリケーションが長期にわたって一貫して動作すると信頼できますか？
数十年にわたり、この3要素は決定論的なワークロードに適用されてきました。応答は予測可能で、正確性が前提とされ、コストも安定していました。しかし、推論ワークロードでは、こうした前提が成り立ちません。推論は確率的で、必要な計算量も変動するため、パフォーマンス、可用性、信頼性の定義を進化させる必要があります。
パフォーマンス：決定論的から確率論的へ
従来のシステムでは、パフォーマンスはミリ秒単位で測定され、同一のリクエストからはほぼ同じ結果が得られました。しかし、推論は異なります。レイテンシーは、モデルのサイズ、入力の複雑さ、バッチ処理戦略、生成設定によって変動します。同一のプロンプトであっても、応答時間が異なる場合があります。
企業にとって、これはパフォーマンスを平均レイテンシだけでなく、ばらつきと効率性によっても定義する必要があることを意味します。つまり、トークンの生成速度、負荷がかかった状態でのスループットの維持度、コストの予測可能性が重要です。
可用性：到達可能であるだけでなく、正しく応答することも必要
従来、可用性はシステムが稼働しているか、停止しているかの二者択一でした。コードの実行は決定論的であるため、正確性は当然のものと見なされていました。しかし、推論では、到達可能であるだけでは可用性が確保されているとはいえません。モデルがオンラインであっても、実用にならないほど遅い、コンテキストが飽和している、あるいは確信を持って誤った回答をする可能性があります。
現在、可用性には応答性だけでなく正確性も求められます。システムは、回答を返すかどうかだけでなく、その回答が適時かつ妥当であるかどうかも評価する必要があります。
信頼性：一貫性から意味的一貫性へ
かつて信頼性とは、同一の入力に対してシステムが同一の出力を生成することを意味していました。しかし、推論ワークロードでは、この前提が成り立ちません。ばらつきは本質的に避けられないものです。モデルの更新、再トレーニング、確率的生成はいずれもドリフトを引き起こします。さらに、トークンベースの課金モデルによって予測可能性は一層複雑になります。
今後、信頼性は意味的一貫性という観点から評価する必要があります。つまり、非決定性がある中でも、許容可能な品質、精度、予測可能性を備えた出力を継続的に提供できるかどうかが問われます。
アルゴリズムと通信の違い
推論ワークロードは、Webサーバーやアプリケーションサーバーとは根本的に異なります。
- バッチ処理：GPUの効率を高めるためにリクエストがグループ化される場合があり、FIFO順序が崩れ、レイテンシーにばらつきが生じます。
- ストリーミング：レスポンスはトークン単位で配信されるため、配信システムは部分的な出力とキャンセルに対応する必要があります。
- サンプリングと探索戦略：出力のばらつきは、temperature、top-kサンプリング、ビームサーチなどのアルゴリズム上の選択によって生じます。
- ルーティング：モデルとエキスパートの選択により、決定論的システムには見られない動的な挙動が加わります。
こうした違いは、従来のデリバリ製品では対応するように設計されていなかった形で、推論のパフォーマンスとセマンティクスの両方を変化させます。
セキュリティへの影響
推論には新たなリスクも伴います。F5の調査によると、84%の組織がプロンプトインジェクション、ジェイルブレイク、出力操作についてテストまたは監視を行っています。半数を超える組織（56%）は、すでにゲートウェイまたはミドルウェアを介して推論の入出力を検査しています。しかし、企業の5社に1社は依然として未検査の生のプロンプトがモデルに到達することを許可しており、これはファイアウォールなしでWebアプリを運用するのと同じです。
教訓は明らかです。推論を従来型のAPIとして扱うと、組織はリスクにさらされます。正確性と意味的整合性を軽視すれば、可用性と信頼性は損なわれます。企業は、ランタイムでのポリシー適用から敵対的な異常の検知まで、推論に特化した防御策をアプリケーションデリバリースタックに組み込む必要があります。
結論
推論はもはや将来の話ではなく、すでに企業の本番環境に組み込まれています。組織の80%が、すでに独自の推論インフラストラクチャを運用しています。しかし、推論は単なるAPIではありません。確率的な実行、正確性に関するリスク、意味のばらつきが生じるため、アプリケーションデリバリのあり方そのものが再定義されます。
AI時代には、アプリケーションデリバリも進化しなければなりません。企業は、基盤となる処理が本質的に確率的であっても、推論を活用するシステムのパフォーマンス、可用性、信頼性（使いやすさ、予測可能性、セキュリティ、正確性）を維持できるよう、戦略とテクノロジーを適応させる必要があります。
著者について
Lori MacVittieは、F5のOffice of the CTOに所属するDistinguished Engineer兼Chief Evangelistであり、アプリケーションデリバリ、自動化戦略、インフラストラクチャに関する深い専門知識を有しています。AIエージェントのガードレール策定、脆弱なマルチクラウドアーキテクチャの分析、スケーラブルなシステムの限界の検証など、複雑な事柄を明快にすることで知られています。アプリケーション開発、ITアーキテクチャ、ネットワークおよびシステム運用の分野で、30年以上にわたる業界経験を有しています。F5入社前は、受賞歴のあるテクノロジー編集者として活躍していました。 MacVittieはコンピューターサイエンスの修士号を取得しており、セキュリティ、クラウド、エンタープライズアーキテクチャにわたる分野で多数の著作を発表しています。また、テーブルトークゲームとビデオゲームをこよなく愛し、チーズについては遠慮なく強いこだわりを語ります。
Lori Mac Vittieのその他のブログ記事関連するブログ記事
経営幹部が抱くAIに関する4つの誤解
AIに関する誤解は数多くあります。ここでは、組織が自社環境にAIを導入する際に見直す必要があるかもしれない4つの誤解を紹介します。
IT/OTコンバージェンスの現状と、セキュリティを最優先すべき理由
ITシステムとOTシステムの融合が進むにつれ、攻撃対象領域は拡大します。組織が安全に統合する方法と、F5 ADSPが大規模な運用の保護にどのように役立つかをご紹介します。
AIのレイテンシ：セキュリティを犠牲にできない理由
AIのレイテンシは、単なる速度の問題ではありません。パフォーマンス、セキュリティ、信頼性のバランスを考慮したシステム設計が重要です。
AIアプリケーションを大規模に提供する：ADCの役割
AIアプリケーションを確実に提供するには、高速なモデルや柔軟に拡張できるインフラストラクチャだけでは不十分です。AIアプリケーションの利用方法を管理するための制御レイヤーが必要です。
MCP：AI対応のアプリケーションデリバリを実現する鍵
Model Context Protocol（MCP）は、最新のアプリケーションにおける安全で低遅延なAI統合を可能にします。将来を見据えたアプリケーションデリバリ戦略にMCPが不可欠な理由をご覧ください。
AIガードレールとは？基盤モデルプロバイダーの枠を超えて進化する安全対策
急速に変化する組織の脅威領域におけるリスクをより包括的に捉えるために、AIガードレールの進化が必要な理由をご覧ください。