1,000万トークンのコンテキストウィンドウを備えたLLM時代のRAG

Hunter Smitプロダクトマーケティング担当シニアマネージャー | F5

Metaは最近、Llama 4ファミリーを発表しました。このLLMファミリーにはScout、Maverick、プレビュー版のBehemothが含まれ、Scoutは1,000万トークンのコンテキストウィンドウを備えています。その直後から、X、LinkedIn、その他のフォーラムでは、検索拡張生成（RAG）が時代遅れになるとの意見が勢いを増し、これほど大規模なコンテキストウィンドウがあればRAGは不要になる可能性があると指摘されていました。しかし、コンテキストウィンドウの特性、絶えず変化する企業データ、分散データストア、規制上の懸念、モデルのパフォーマンス、エンタープライズ規模のAIアプリケーションにおける関連性を考慮すると、RAGは今後も生成AIの基盤となる設計パターンであり続けると考えています。

RAGは企業に不可欠なアーキテクチャ

Llama 4は1,000万トークンのコンテキストウィンドウへの対応を実現しましたが、RAGは依然としてエンタープライズAIアプリケーションに不可欠な要素です。企業では多くの場合、分散システムに保存された、絶えず変化する動的なデータセットを扱っています。RAGにより、モデルはこうした膨大なデータストアから最新かつ関連性の高い情報をリアルタイムで取得して取り込めるため、組織、チーム、ユーザーごとに大きく異なる固有の状況に即した、正確なAI出力が可能になります。リアルタイム検索は、カスタマーサポート、市場分析、ナレッジベースなど、最新の知識を必要とするアプリケーションに不可欠です。

外部検索を行わず、大規模なコンテキストウィンドウだけに依存すると、非効率になるだけでなく、セキュリティ上のリスクも生じる可能性があります。モデルにデータを継続的に入力すると、そのデータにアクセスできるユーザー、データが安全に保存されているかどうか、ログやモデルの出力を通じて意図せず漏えいする可能性を管理することが難しくなります。データ量が増えるほど、内部脅威、悪意のあるプロンプト、偶発的な漏えいが発生する可能性が高まり、機密記録の取り扱いを誤った場合、組織はプライバシー要件やコンプライアンス要件に違反するリスクを負います。

RAGを導入することで、企業はクエリごとに最も関連性の高いデータのみを取得でき、相関性の高いデータ選択が求められることの多い、地域別および業界固有の規制上の制約に対応できます。このアプローチにより、攻撃対象領域を縮小すると同時に、ロールベースのアクセス制御、転送中の暗号化、詳細な監査メカニズムなどのポリシーを一貫して適用できます。この選択的な取得は、計算オーバーヘッドを削減するだけでなく、機密性の高い資産の露出を推論時に必要な範囲に厳密に限定することで、堅牢なセキュリティ態勢を維持します。

コンテキストウィンドウとその影響

LLMにおけるコンテキストウィンドウとは、モデルが1回の入力で処理できるトークン数の上限を指します。このウィンドウを拡張すると、モデルはより広範な情報を同時に考慮できるようになり、より詳細な対話、より包括的な分析、パーソナライゼーションの向上につながります。目安として、100,000トークンで構成される未加工のテキストは約325 KBであり、1,000万トークンのコンテキストは約32 MBのテキストデータに相当します。この容量により、Llama 4 Scoutは1回のクエリで大量の情報を処理できます。

拡張されたコンテキストウィンドウには、一度により多くのデータを処理できるという利点がある一方で、モデルのパフォーマンス、精度、効率に関する課題も生じます。数百万ものトークンを処理するには膨大なコンピューティングリソースが必要となり、レイテンシーの増大や運用コストの上昇につながります。コンテキストが長くなるにつれて、モデルが入力全体にわたって注意と関連性を維持することが難しくなり、AIの出力品質に影響を及ぼす可能性があります。この点について、著者であり著名なAI専門家でもあるAndriy Burkov博士は、Xに次のように投稿しています。「公称10Mのコンテキストは仮想的なものです。256kトークンを超えるプロンプトでトレーニングされたモデルは存在しないためです。つまり、256kトークンを超えるデータをモデルに送信すると、ほとんどの場合、出力の品質が低下します」

コンテキストウィンドウの拡大は新たな可能性をもたらす一方で、パフォーマンスとリソース使用量のバランスを取ることが極めて重要です。最適なのは、関連する情報をすべて提示しつつ、不要な情報は一切含めないことです。実際、人間と同様に、LLMに過剰な情報を与えると、重要な情報を見極めて集中する能力が低下する可能性があることを、いくつかの研究が示唆しています。詳しくは、ホワイトペーパー「Lost in the Middle: How Language Models Use Long Contexts」をご覧ください。

高度なAIモデルを導入する際のインフラストラクチャに関する考慮事項

多くの企業にとって、転送中のデータのパフォーマンスやセキュリティを損なうことなく、広範囲に分散する数百から数千のデータストアをRAG向けに安全に接続することは容易ではありません。オンプレミス、ハイブリッド、マルチクラウドのストレージ環境を統合するには、F5 Distributed Cloud Servicesが提供するような高性能のグローバル相互接続ファブリックが必要です。統合型WAFとポリシーベースの制御を使用して、許可されたLLMエンドポイントのみがデータにアクセスできるようにすることで、複数のゲートウェイやVPNの管理に伴うリスクと運用負荷を大幅に軽減できます。

ネットワークとセキュリティに統合的なアプローチを提供するF5 Distributed Cloud Network Connectは、RAGの実装を効率化し、分散したデータソースをシームレスに接続できるようにすることで、LLMによる出力の精度と適時性を高めます。さらに、F5 AI Gatewayを使用することで、データセキュリティの境界を侵害する可能性のあるプロンプトインジェクション攻撃から保護し、推論時に多層防御を確保できます。

広大なコンテキストウィンドウを備えたLlama 4 Scoutのようなモデルを導入するには、堅牢で効率的なインフラストラクチャが必要です。低レイテンシを維持し、シームレスな運用を実現するには、大量のデータスループットを処理できる高性能プロキシが不可欠です。NVIDIA BlueField-3 DPU上に導入されたF5 BIG-IP Next for Kubernetesは、クラウド規模のAIインフラストラクチャとAIファクトリーに合わせた高性能なトラフィック管理とセキュリティを提供する、この用途に適した有力なソリューションです。

データ集約型のタスクをDPUにオフロードすることで、CPUリソースをアプリケーションの中核プロセスに割り当てられるようになり、システム全体の効率が向上します。マルチテナンシーのサポートにより、同じインフラストラクチャ上で複数のAIワークロードを安全かつ効率的に実行できるため、AIクラウド、ハイパースケーラー、サービスプロバイダーに適しています。このような機能は、最適なパフォーマンスとセキュリティを維持しながら、広範なコンテキストウィンドウを持つモデルを活用しようとするAIファクトリーに不可欠です。

もう1つの重要な考慮事項は、大規模で変動の激しいコンテキストウィンドウによって、リソース消費量が大幅に変動する可能性があることです。そのため、利用可能なコンピューティング容量に合わせて受信リクエストをインテリジェントに分散することが、より重要になります。高度で適応型の負荷分散ソリューションは、こうした大規模なクエリを複数のクラスターやリージョンに分散することで、コンピューティングコストを直接削減できない場合でも、ボトルネックを緩和し、複雑なAI環境全体のパフォーマンス維持に役立ちます。

RAGは今後も不可欠

RAGは、コンテキストウィンドウの拡大だけにとどまらない理由から、現在も変わらず重要です。主なメリットの1つは、ユーザーのアクセス権に基づいてデータ取得をカスタマイズできることです。また、モデルの再トレーニングやファインチューニングを行わずに、最新情報を取り込むこともできます。企業がAIモデルとの統合を検討するデータは、多くの場合、テラバイト、さらにはペタバイト規模に及ぶため、この点は特に重要です。

Llama 4 Scoutの1,000万トークンのコンテキストウィンドウに代表される、コンテキストウィンドウの拡大に向けた目覚ましいイノベーションは、LLMにとって大きな進歩です。しかし、コンテキストは引き続き慎重に活用する必要があります。コンテキストサイズが大きくなると、コストとレイテンシが増加し、場合によっては最終的な応答の品質が低下することさえあります。同様に重要なのが、組織がAIアプリケーションを拡張する際に高いパフォーマンスを確保するために必要となる、堅牢なインフラストラクチャとセキュリティ制御です。

F5のAIへの取り組みは、これだけにとどまりません。F5があらゆる環境でAIアプリを保護し、提供する仕組みをご覧ください。

著者について

Hunter Smitプロダクトマーケティング担当シニアマネージャー | F5

Hunter Smitは、F5でソリューションおよび戦略担当のプロダクトマーケティングシニアマネージャーを務めています。AIインフラストラクチャやアプリケーションセキュリティを含むF5ポートフォリオ全体のソリューションマーケティングを統括し、新興のAIデータデリバリー市場へのF5の参入を推進しています。Whitworth University School of Businessの諮問委員会メンバーであり、プロダクトマーケティングの非常勤講師も務めました。Whitworth UniversityでMBAおよび経営学の学士号を取得しています。

Hunter Smitのその他のブログ記事