かつて、アプリケーションがシンプルで、ネットワークが低速であり、誰もがSOAPこそ未来だと信じていた時代、圧縮は生き残るために不可欠でした。帯域幅は高価で、ストレージ容量は限られ、ユーザーは迅速な応答を求めていたため、圧縮が必要だったのです。ペイロードを小さくすれば、配信が高速化し、顧客満足度が向上するだけでなく、クラウドプロバイダーから予想外の請求を受けることも減りました。
当時、圧縮は正義でした。あらゆるものを改善してくれたのです。
しかしAI時代は、私たちが当然だと思っていたことを白日の下にさらし、気づかぬうちに世界が一変していたことを鮮やかに浮き彫りにします。それが今ほど明確に表れているものは、圧縮に対する私たちの考え方をおいてほかにありません。
従来、圧縮の目的はパフォーマンスでした。その後、帯域幅へと移りました。では、現在はどうでしょうか。
圧縮の目的は、推論コストで破産しないようにすることです。
まずは当たり前の話から始めましょう。そう、帯域幅には今もコストがかかります。クラウドからのデータ転送は高額になることで悪名高く、請求額を見て動悸がすることもあります。しかし、率直に比較してみてください。ネットワーク経由で1 MBのデータを転送するコストと、最高クラスの大規模言語モデル（LLM）で10,000トークンを生成するコストでは、桁が違います。前者は月々の請求書で見過ごされるほどの端数ですが、後者は「なぜ第3四半期の予算を突然使い切ったのか」と財務部門から厳しい文面のメッセージが届くレベルです。
AIの世界では、単にサイズを小さくするために圧縮するわけではありません。トークンの生成は一つひとつが認知処理であり、機械にとって認知処理には多大なコストがかかります。そこで、圧縮によってトークンをより低コストで「処理できる」ようにします。
圧縮がもたらす新たな経済性
LLMは、過去30年にわたるシステムエンジニアリングの歩みをないがしろにするかのような形で、ボトルネックの概念を塗り替えました。かつては、3G接続でアプリの読み込みに6日もかからないよう、ネットワーク経路を最適化し、ペイロードを最小限に抑え、アセットを事前に圧縮していました。
今や、システム内で最も遅く、最もコストがかかるコンポーネントは、ネットワークではありません。
それは、頭脳です。
LLMが出力するすべてのトークンには、GPUサイクル、VRAM、エネルギー、レイテンシ、そしてコストが伴います。今四半期にどのモデルに夢中になったかによっては、莫大なコストです。今やテキストの生成コストは転送コストをはるかに上回っており、圧縮のバリューチェーンが逆転したことを意味します。
圧縮する目的は、データを小さくすることではなく、AIが考えなければならない思考の数を減らすことです。
率直に言えば、これはとてもおかしな表現ですが、運用上の事実でもあります。
圧縮の現在地
その昔、行きも帰りも上り坂のようなネットワークを行き来していた時代、圧縮機能はネットワークエッジの専用デバイスに搭載されていました。やがてアプリケーションデリバリーコントローラーに集約され、「ミニファイ」や「HTTP圧縮」などと呼ばれるようになりました。一時期は特殊な機能でしたが、今ではアプリケーションデリバリーに欠かせない機能の1つです。
しかし、AIの進歩により、新たな圧縮手法が登場しつつあります。おそらく、そうせざるを得ないからでしょう。もはや、よく知られたアルゴリズムでテキストを圧縮するだけではありません。何かを証明しようと意気込むシカゴ・マニュアルやAPスタイルの編集者が、赤ペンで文章を添削するように、単語そのものを削っているのです。
プロンプト圧縮
これは新たなヘビー級チャンピオンです。プロンプトを圧縮すれば、請求額も縮小できます。無関係な詳細は削除。重複するコンテキストも削除。冗長すぎる指示は、伸びすぎた生け垣のように刈り込みます。プロンプトが短いほど、消費するトークンが減り、調達部門にも喜ばれます。
出力の圧縮
「簡潔に」は、いつの間にか文章表現上の好みからコスト管理戦略へと格上げされました。短い回答＝低コスト。長い回答＝その冗長さの分だけ、誰かが費用を負担するということです。
埋め込み圧縮
ここで削減するのはバイト数ではなく、次元数です。次元数を減らすことでメモリ使用量が減り、検索コストが下がり、ベクトルストアから毎分ひそかに請求されるあらゆるコストを削減できます。
モデル圧縮
プルーニング、量子化、蒸留。かつては学術的な関心の対象にすぎませんでした。今では、目的はただ1つです。より低コストで実行することです。
さらに高速に動作するなら、申し分ありません。より小型のGPUに収まるなら、驚異的です。しかし、その目的は今も昔も、コンピューティングリソースの消費を抑えることにあります。
制御手段としての圧縮
システムで最もコストのかかる処理が「思考」になると、思考を有限のリソースとして扱うようになります。これは、これまで教えられてきたあらゆるパフォーマンスモデルとは正反対です。ネットワークも、ストレージも、CPUも低コストです。メモリに至っては、もはや管理している体裁すらほとんど必要ないほど低コストです。
しかし、GPU推論はどうでしょうか。これは新たな石油です。確かに、この決まり文句は嫌いですが、当てはまるなら使うしかありません。
そして石油と同じように、今や最後の一滴まで効率よく搾り取ることに特化したグローバル経済が形成されています。圧縮はもはや「あれば便利」なものではなく、AI運用を支える柱です。
これにより、予算内に収めながら責任ある形でスケールし、誤ってトークン使用料が数百万ドル規模に膨らむ事態や、戦争と平和をエージェントが書き直してしまう事態を防げます。max_tokensの設定を忘れたばかりに、ということもありません。
今、圧縮が必要なのは、ネットワークが負荷に耐えられないからではなく、AIがその請求額に耐えられないからです。未来の焦点は、データを小さくすることではなく、思考にかかるコストを下げることにあります。
圧縮はもはやネットワークのためではなく、収支管理のためにあります。その結果、運用会計という考え方が生まれても、驚くことではありません。少なくとも私は驚きません。
著者について
Lori MacVittieは、F5のOffice of the CTOに所属するDistinguished Engineer兼Chief Evangelistであり、アプリケーションデリバリ、自動化戦略、インフラストラクチャに関する深い専門知識を有しています。AIエージェントのガードレール策定、脆弱なマルチクラウドアーキテクチャの分析、スケーラブルなシステムの限界の検証など、複雑な事柄を明快にすることで知られています。アプリケーション開発、ITアーキテクチャ、ネットワークおよびシステム運用の分野で、30年以上にわたる業界経験を有しています。F5入社前は、受賞歴のあるテクノロジー編集者として活躍していました。 MacVittieはコンピューターサイエンスの修士号を取得しており、セキュリティ、クラウド、エンタープライズアーキテクチャにわたる分野で多数の著作を発表しています。また、テーブルトークゲームとビデオゲームをこよなく愛し、チーズについては遠慮なく強いこだわりを語ります。
Lori Mac Vittieのその他のブログ記事関連するブログ記事
理由は間違っていても、結果は正しい：止まらないAPIの増加、20億件へ
従来、APIの乱立は人間の作業量によって制約されていました。現在では、AIエージェントが自律的にエンドポイントを作成して連携させるため、AI関連のAPI呼び出しや統合が急増しています。
AIアプリケーションデリバリのトップ10：互換性のないデリバリポリシー
ポリシーの不整合がAI障害を引き起こします。フェイルオーバー、タイムアウト、制限、セキュリティ制御に一貫性がないと、ソフト障害や不完全な結果が発生し、エンドポイントごとに異なる結果が生じます。
AIアプリケーションデリバリーの課題トップ10：最適化されていないトラフィックステアリング
AIは従来のトラフィックステアリングの前提を覆します。バックエンドには互換性がなく、コストも異なり、エージェントは予測不能に処理を分散させるため、ルーティングではモデル、GPUの稼働状態、データの局所性を考慮する必要があります。
パケットからプロンプトへ：推論がスタックに新たなレイヤーを追加
推論はトレーニングでも、実験でも、データサイエンスの演習でもありません。推論は本番環境におけるランタイムの動作であり、アプリケーション層と同様に機能します。
AI規模で制御を維持する唯一の方法はプログラマビリティ
急速に変化する環境でリアルタイム制御を確保しながら、AI駆動型システムを拡張し、セキュリティを確保するうえで、データプレーンとコントロールプレーンのプログラマビリティが重要な理由をご紹介します。
AIのコンテキストウィンドウ管理は魔法ではありません。アーキテクチャです。
AIアプリビルダーが、ドリフト、レイテンシー、プロンプト攻撃を防ぐために、コンテキスト、メモリ、インフラストラクチャを管理しながら、デリバリーとセキュリティを進化させる必要がある理由をご紹介します。