推論：見て見ぬふりをしている、AIで最も重要な要素

Lori Mac Vittie特別技術者兼チーフエバンジェリスト | F5

誰もが、AIはAPIだけで完結するかのように語りたがります。モデルや、「推論完了」と表示される華やかなダッシュボードだけで成り立っているかのように。しかし、それは内部を一度も覗かなければ成り立つ幻想にすぎません。

あらゆるチャットボット、エージェント、RAGパイプライン、オーケストレーションレイヤーの基盤には、推論サーバーがあります。比喩でも、バズワードでもありません。JARファイルの代わりにモデルを実行する、文字どおりのアプリケーションサーバーです。そして従来のアプリケーションサーバーと同様に、推論エンジンはパフォーマンス上の問題が生じ、可観測性が重要となり、実際のセキュリティ境界が存在する場所です。

問題は何でしょうか。推論エンジンをそのように捉えている人が、ほとんどいないことです。

企業における推論は理論上の話ではない

According to the Uptime Instituteの2025年AIインフラストラクチャ調査によると、データセンター事業者の32%がすでに推論ワークロードをサポートしています。さらに45%が、今後数か月以内にサポートを開始すると回答しています。これは実験段階の話ではありません。コンピューティング基盤そのものが変化しているのです。そして、その変化の大部分を、私たちはまだ把握できていません。

推論サーバーは机上の概念ではありません。vLLM、TGI、Triton、Ollamaといった具体的なものがあり、相互に置き換えられるわけでもありません。たとえばvLLMは、上回る性能を示しており、PagedAttentionやバッチスケジューリングなどのアーキテクチャ改善により、Hugging Face Transformersと比べて最大24倍、持続スループットではTGIと比べて3倍を超える性能を発揮します。これは単なる最適化上の差異ではなく、インフラストラクチャに影響を及ぼす違いです。

具体的な数値で見ると、バッチモードでvLLMは毎秒500トークン超を維持するのに対し、TGIは毎秒150トークン未満です。プロンプトの評価時間は40%以上短縮され、応答時間の短縮とGPU使用効率の向上に直結します。本番環境では、この差が、推論処理をスケールできるか、負荷によって処理が停滞するかを左右します。

しかも、メリットはパフォーマンスだけにとどまりません。vLLMやOllamaなどのツールでは、合計所要時間、トークン単位の評価ウィンドウ、プロンプトとレスポンスの内訳といった詳細なテレメトリを確認できます。単なるトークン数だけでなく、各トークンの計算がいつ、どこで行われ、どの程度の時間を要したかまで把握できます。この粒度の情報があれば、ドリフトのトラブルシューティングやガードレールの適用が可能になります。これがなければ、状況を把握できないままスケーリングすることになります。

従来のアプリケーションサーバーと同様に、推論はアプリケーションデリバリとセキュリティがAIと交わる領域です。ここでは、トラフィックステアリングと負荷分散が行われ、セキュリティとプライバシーを確保するためにペイロードが検査・分析され、必要な処理が実行されます。また、プロンプトのサニタイズ、レスポンスのフィルタリング、パフォーマンスの最適化も行われます。推論はAIアーキテクチャにおける戦略的な制御ポイントであり、組織はここで、レガシー、モダン、AIの別を問わず、アプリケーションとAPIに常につきまとうデリバリに関する10の主要課題に対処できます。

推論が取り残される理由

推論は見過ごされがちです。私たちがいまだにAPIの世界にとらわれているからです。しかし、推論を単なるイングレス配下のサービスだと考えているなら、高負荷時のRAGループのデバッグや、同時に動作する複数のエージェントチェーンにまたがる誤動作の追跡、監査のためにすべての判断を記録する必要がある規制対象の大規模言語モデル（LLM）でのプロンプトインジェクションへの対処を経験したことがないのでしょう。

これは理論上の問題ではありません。今にも発生しかねないネットワークのボトルネックです。

推論サーバーは、モデルを収容するコンテナです。ランタイムであり、ボトルネックであり、セキュリティ境界でもあります。そして、実際にAIをスケールさせる場所です。モデルは数学的なものであり、データセット、いわば高度なExcelスプレッドシートです。モデル自体をスケールさせるのではありません。推論サーバーに読み込み、その推論サーバーをスケールさせます。

したがって、AIの運用を本気で実現するなら、抽象的なアーキテクチャ図について語るのはやめ、より踏み込んだ問いを投げかけるべきです。

• どの推論エンジンを稼働させているのか？
• どこにデプロイされていますか？
• 誰がアクセスできますか？
• リクエストごとにどのようなテレメトリを収集しますか？

これは机上の懸念ではなく、インフラの現実です。目を背ける時間が長いほど、AIの導入環境は脆弱になります。モデルは重要です。APIも役立ちます。しかし、現実の制約が顕在化するのは推論です。推論をスケールできなければ、AIをスケールすることはできません。

推論はAIインフラストラクチャの重要な構成要素

AIに関しては、ほとんどの組織が依然としてハイブリッド型を採用しています。利便性を求めてSaaSベースのツールを利用する一方、セルフホスト型の推論を慎重に検討しています。しかし、SaaSでは難しい部分が見えません。推論は、洗練されたAPIやUIの背後に抽象化されています。エンジンの誤作動、GPUの処理能力不足、プロンプトのタイミングのずれを目にすることはありません。ところが、セルフホスト環境に移行した途端（いずれ移行することになります）、そのすべてを自ら担うことになります。パフォーマンス、オブザーバビリティ、セキュリティは、単に「あればよいもの」ではなく、前提条件です。

組織が推論の内部的な仕組みを理解していなければ、AI戦略を構築しているとは言えません。単に、誰かが正しく構築してくれていることを期待しているだけです。

著者について

Lori Mac Vittie特別技術者兼チーフエバンジェリスト | F5

Lori MacVittieは、F5のOffice of the CTOに所属するDistinguished Engineer兼Chief Evangelistであり、アプリケーションデリバリ、自動化戦略、インフラストラクチャに関する深い専門知識を有しています。AIエージェントのガードレール策定、脆弱なマルチクラウドアーキテクチャの分析、スケーラブルなシステムの限界の検証など、複雑な事柄を明快にすることで知られています。アプリケーション開発、ITアーキテクチャ、ネットワークおよびシステム運用の分野で、30年以上にわたる業界経験を有しています。F5入社前は、受賞歴のあるテクノロジー編集者として活躍していました。 MacVittieはコンピューターサイエンスの修士号を取得しており、セキュリティ、クラウド、エンタープライズアーキテクチャにわたる分野で多数の著作を発表しています。また、テーブルトークゲームとビデオゲームをこよなく愛し、チーズについては遠慮なく強いこだわりを語ります。

Lori Mac Vittieのその他のブログ記事