RAG im Zeitalter von LLMs mit Kontextfenstern von 10 Millionen Tokens

Hunter SmitSenior Manager, Produktmarketing | F5

Meta hat kürzlich die Llama-4-Modellfamilie vorgestellt – bestehend aus den LLMs Scout und Maverick sowie einer Vorschau auf Behemoth. Scout bietet dabei ein Kontextfenster mit 10 Millionen Token. Kurz darauf häuften sich auf X, LinkedIn und anderen Foren Kommentare darüber, dass Retrieval-Augmented Generation (RAG) überflüssig werde, da ein derart großes Kontextfenster RAG nutzlos machen könnte. Wir sind jedoch überzeugt, dass RAG auch weiterhin ein grundlegendes Entwurfsmuster für generative KI bleiben wird – angesichts der Besonderheiten von Kontextfenstern, sich ständig ändernder Unternehmensdaten, verteilter Datenspeicher, regulatorischer Anforderungen, der Modellleistung und der Bedeutung unternehmensweiter KI-Anwendungen.

RAG ist eine unverzichtbare Architektur für Unternehmen

Trotz der Leistung von Llama 4, Kontextfenster mit 10 Millionen Token zu unterstützen, bleibt RAG eine entscheidende Komponente für KI-Anwendungen in Unternehmen. Unternehmen arbeiten häufig mit dynamischen, sich ständig verändernden Datensätzen, die über verteilte Systeme hinweg gespeichert sind. RAG ermöglicht es Modellen, die aktuellsten und relevantesten Informationen aus diesen riesigen Datenspeichern in Echtzeit abzurufen und einzubeziehen. So wird sichergestellt, dass KI-Ausgaben sowohl präzise als auch kontextbezogen relevant sind – wobei die jeweiligen Anforderungen je nach Unternehmen, Team oder Nutzer höchst individuell ausfallen. Der Echtzeitabruf ist für Anwendungen, die aktuelles Wissen benötigen, von entscheidender Bedeutung, etwa im Kundensupport, bei Marktanalysen und in Wissensdatenbanken.

Sich ausschließlich auf große Kontextfenster ohne externen Abruf zu verlassen, kann sowohl ineffizient sein als auch ein Sicherheitsrisiko darstellen. Wenn einem Modell kontinuierlich Daten zugeführt werden, lässt sich schwerer kontrollieren, wer auf diese Daten zugreifen kann, ob sie sicher gespeichert werden und wie sie möglicherweise unbeabsichtigt über Protokolle oder Modellausgaben offengelegt werden. Mit zunehmendem Datenvolumen steigt die Gefahr durch interne Bedrohungen, böswillige Prompts oder versehentliche Datenlecks. Zudem riskieren Unternehmen, gegen Datenschutz- oder Compliance-Vorgaben zu verstoßen, wenn vertrauliche Datensätze unsachgemäß behandelt werden.

Durch den Einsatz von RAG können Unternehmen für jede Anfrage gezielt nur die relevantesten Daten abrufen und so regionale sowie branchenspezifische regulatorische Vorgaben erfüllen, die häufig eine präzise abgestimmte Datenauswahl erfordern. Dieser Ansatz reduziert die Angriffsfläche und gewährleistet zugleich die konsequente Durchsetzung von Richtlinien wie rollenbasierten Zugriffskontrollen, Verschlüsselung während der Übertragung und detaillierten Auditmechanismen. Der selektive Abruf senkt nicht nur den Rechenaufwand, sondern stärkt auch die Sicherheitslage, indem sensible Ressourcen nur in genau dem Umfang offengelegt werden, der zum Zeitpunkt der Inferenz erforderlich ist.

Kontextfenster und ihre Auswirkungen

Bei LLMs bezeichnet das Kontextfenster die maximale Anzahl an Tokens, die das Modell in einer einzigen Eingabe verarbeiten kann. Durch die Erweiterung dieses Fensters kann das Modell umfangreichere Informationen gleichzeitig berücksichtigen, was detailliertere Gespräche, umfassendere Analysen und eine bessere Personalisierung ermöglicht. Zum Vergleich: Ein Rohtext mit 100.000 Tokens ist etwa 325 KB groß; ein Kontext mit 10 Millionen Tokens entspräche ungefähr 32 MB an Textdaten. Dank dieser Kapazität kann Llama 4 Scout große Informationsmengen in einer einzigen Abfrage verarbeiten.

Ein erweitertes Kontextfenster bietet zwar den Vorteil, mehr Daten auf einmal verarbeiten zu können, bringt jedoch Herausforderungen hinsichtlich Modellleistung, Genauigkeit und Effizienz mit sich. Die Verarbeitung von Millionen von Tokens erfordert erhebliche Rechenressourcen, was zu längeren Latenzzeiten und höheren Betriebskosten führt. Mit zunehmender Kontextlänge kann es für Modelle schwieriger werden, die Aufmerksamkeit und Relevanz über die gesamte Eingabe hinweg aufrechtzuerhalten, was sich möglicherweise auf die Qualität der KI-Ausgaben auswirkt. Zu diesem Thema schrieb der Autor und anerkannte KI-Experte Dr. Andriy Burkov auf X: „Das angegebene Kontextfenster von 10 Millionen Tokens ist virtuell, da kein Modell mit Prompts trainiert wurde, die länger als 256.000 Tokens waren. Das bedeutet, dass Sie meist eine Ausgabe von geringer Qualität erhalten, wenn Sie dem Modell mehr als 256.000 Tokens übermitteln.“

Größere Kontextfenster eröffnen zwar neue Möglichkeiten, doch ein ausgewogenes Verhältnis zwischen Leistung und Ressourcennutzung ist entscheidend. Im Idealfall werden alle relevanten Informationen bereitgestellt, jedoch keine unnötigen. Einige Studien deuten sogar darauf hin, dass ein Übermaß an Informationen ein LLM – ähnlich wie einen Menschen – dabei beeinträchtigt, relevante Inhalte zu erkennen und sich darauf zu konzentrieren. Das Whitepaper „Lost in the Middle: Wie Sprachmodelle lange Kontexte nutzen“ befasst sich ausführlich mit diesem Thema.

Infrastrukturaspekte bei der Bereitstellung fortschrittlicher KI-Modelle

Viele Unternehmen stehen vor der schwierigen Aufgabe, Hunderte oder Tausende weit verstreuter Datenspeicher sicher für RAG zu verbinden, ohne die Leistung oder die Sicherheit der übertragenen Daten zu beeinträchtigen. Die Konsolidierung lokaler, hybrider und Multicloud-basierter Speicherorte erfordert eine leistungsstarke globale Verbindungsinfrastruktur, wie sie von F5 Distributed Cloud Services bereitgestellt wird. Indem Unternehmen mithilfe einer integrierten WAF und richtlinienbasierter Kontrollen sicherstellen, dass nur autorisierte LLM-Endpunkte auf die Daten zugreifen können, reduzieren sie die Risiken und den Aufwand bei der Verwaltung mehrerer Gateways oder VPNs erheblich.

Durch einen einheitlichen Ansatz für Netzwerk und Sicherheit optimiert F5 Distributed Cloud Network Connect RAG-Implementierungen und ermöglicht es Unternehmen, verteilte Datenquellen nahtlos miteinander zu verbinden, um präzisere und zeitnahere LLM-gestützte Ergebnisse zu erzielen. Darüber hinaus können Unternehmen mit F5 AI Gateway sich vor Prompt-Injection-Angriffen schützen, die Datensicherheitsgrenzen verletzen könnten, und so zum Zeitpunkt der Inferenz einen mehrschichtigen Sicherheitsansatz gewährleisten.

Die Bereitstellung von Modellen wie Llama 4 Scout mit seinem umfangreichen Kontextfenster erfordert eine robuste und effiziente Infrastruktur. Hochleistungs-Proxys, die einen erheblichen Datendurchsatz bewältigen können, sind unerlässlich, um niedrige Latenzzeiten und einen reibungslosen Betrieb zu gewährleisten. F5 BIG-IP Next for Kubernetes auf NVIDIA BlueField-3 DPUs bietet in diesem Zusammenhang eine überzeugende Lösung mit leistungsstarkem Traffic-Management und maßgeschneiderter Sicherheit für KI-Infrastrukturen im Cloud-Maßstab und KI-Fabriken.

Durch die Auslagerung datenintensiver Aufgaben auf DPUs werden CPU-Ressourcen für zentrale Anwendungsprozesse freigesetzt, was die Gesamteffizienz des Systems steigert. Dank Multi-Tenancy-Unterstützung können mehrere KI-Workloads sicher und effizient innerhalb derselben Infrastruktur ausgeführt werden. Dies ist insbesondere für KI-Clouds, Hyperscaler und Serviceanbieter von Vorteil. Solche Funktionen sind für KI-Fabriken unverzichtbar, die Modelle mit umfangreichen Kontextfenstern nutzen und gleichzeitig optimale Leistung und Sicherheit gewährleisten möchten.

Ein weiterer wichtiger Aspekt ist, dass große und stark variierende Kontextfenster erhebliche Schwankungen beim Ressourcenverbrauch verursachen können. Dadurch gewinnt die intelligente Verteilung eingehender Anfragen entsprechend der verfügbaren Rechenkapazität an Bedeutung. Fortschrittliche, adaptive Lösungen für den Lastenausgleich tragen dazu bei, diese umfangreichen Anfragen auf mehrere Cluster oder Regionen zu verteilen. So lassen sich Engpässe vermeiden und die Gesamtleistung komplexer KI-Implementierungen aufrechterhalten, auch wenn dadurch die Rechenkosten nicht unmittelbar sinken.

RAG wird uns auch weiterhin erhalten bleiben

RAG ist heute so relevant wie eh und je – und das aus Gründen, die über die Skalierung von Kontextfenstern hinausgehen. Ein wesentlicher Vorteil besteht darin, dass sich der Datenabruf an die Zugriffsrechte des jeweiligen Benutzers anpassen lässt. Ein weiterer Vorteil ist die Möglichkeit, aktuelle Informationen einzubeziehen, ohne das Modell neu trainieren oder feinabstimmen zu müssen. Dies ist besonders wichtig angesichts der enormen Menge an Unternehmensdaten, die sich häufig über Terabytes oder sogar Petabytes erstreckt und die Unternehmen möglicherweise in KI-Modelle integrieren möchten.

Die beeindruckenden Innovationen bei der Vergrößerung von Kontextfenstern, wie etwa das Kontextfenster von Llama 4 Scout mit 10 Millionen Token, stellen einen bedeutenden Fortschritt für LLMs dar. Dennoch muss Kontext weiterhin mit Bedacht eingesetzt werden. Große Kontextfenster erhöhen Kosten und Latenz und können in manchen Fällen sogar die Qualität der endgültigen Antwort beeinträchtigen. Ebenso wichtig sind eine robuste Infrastruktur und zuverlässige Sicherheitskontrollen, um eine hohe Leistung zu gewährleisten, wenn Unternehmen ihre KI-Anwendungen skalieren.

Das Engagement von F5 im Bereich KI geht noch weiter – erfahren Sie, wie F5 KI-Anwendungen überall sicher bereitstellt.

Über den Autor

Hunter SmitSenior Manager, Produktmarketing | F5

Hunter Smit ist Senior Manager im Produktmarketing für Lösungen und Strategie bei F5. Er leitet das Lösungsmarketing für das gesamte F5-Portfolio, einschließlich KI-Infrastruktur und Anwendungssicherheit, und treibt den Einstieg von F5 in den aufstrebenden Markt für die Bereitstellung von KI-Daten voran. Hunter ist Mitglied des Beirats der School of Business der Whitworth University und war als Lehrbeauftragter für Produktmarketing tätig. Er erwarb an der Whitworth University einen MBA sowie einen Bachelor of Business Administration mit Schwerpunkt Management.

Weitere Blogbeiträge von Hunter Smit