Sitzungen sind persistent, Kontext ist anhänglich: Wie Inferenz trickst, um Gespräche aufrechtzuerhalten

Lori Mac VittieDistinguished Engineer und Chief Evangelist | F5

Seit Jahrzehnten setzen verteilte Systeme auf die Eleganz der Zustandslosigkeit – sowohl als Designprinzip als auch als Skalierungsstrategie. Sie bietet eine klare Abstraktion, bei der jede Anfrage unabhängig von der vorherigen eintrifft, isoliert verarbeitet wird und keine Spuren hinterlässt. Zustandslose Systeme vergessen, und durch dieses Vergessen gewinnen sie Freiheit: die Freiheit, ohne Koordination horizontal zu skalieren, die Freiheit, ohne Folgen auszufallen, und die Freiheit von der betrieblichen Last der Zustandsspeicherung. Es war ein gutes Modell, das uns bei manchen Anwendungen gute Dienste geleistet hat.

KI-Systeme hingegen entlarven diese Illusion.

Was wir heute als „zustandslose Inferenz“ bezeichnen, ist nur in der Implementierung zustandslos, nicht aber in seiner Funktion, denn der Zustand ist nicht verschwunden, sondern wurde lediglich verlagert. Gespräche, Schlussfolgerungen und Bedeutung hängen vom vorherigen Kontext ab, weshalb dieser Kontext irgendwo fortbestehen muss. Heute führen wir ihn in jeder Anfrage mit, verpackt in Tokens, spielen ihn immer wieder ein und rekonstruieren ihn Zug um Zug, als würde das System bei jeder Äußerung das gesamte Gespräch von Anfang an lesen. Die Architektur beansprucht Zustandslosigkeit, doch im Betrieb verhält sie sich so, als wäre der Zustand überall vorhanden – denn genau das ist er.

Kontext ist, wenn man ihn seiner weicheren Bezeichnung entkleidet, schlichtweg Zustand in Bewegung.

Jede Anfrage schleppt ihren Verlauf mit sich, und je länger Gespräche dauern, desto schwerer wiegt diese Historie. Die Nutzlasten werden größer, die Datenübertragung im Netzwerk nimmt zu, die Inferenzlatenz steigt, und immer wieder wird Rechenleistung darauf verwendet, Informationen zu verarbeiten, die das Modell bereits gesehen hat. Größere Kontextfenster und schnellere Hardware schieben die Folgen hinaus, und ausgeklügelte technische Verfahren wie KV-Caching und Prompt-Komprimierung mildern die Auswirkungen. Doch nichts davon beseitigt die grundlegende Ineffizienz, Erinnerungen immer wieder abzuspielen, anstatt sie dauerhaft vorzuhalten. Das System erinnert sich durch Wiederholung statt durch gezielte Konzeption – und Wiederholung hat immer ihren Preis.

Die Kosten eines konsistenten Gesprächs

Diese Kosten machen sich zunächst bei der Bandbreite, dann bei der Rechenleistung und schließlich bei der Latenz bemerkbar und erzeugen so einen unauffälligen, aber anhaltenden Skalierungsdruck. Zustandslosigkeit vereinfachte einst die Skalierung, da zwischen Aufrufen nichts vorgehalten werden musste. KI-Workloads kehren diesen Vorteil jedoch ins Gegenteil um, denn gerade die Wahrung der Kontinuität macht sie nützlich. Ein System, das die Vergangenheit vergisst, kann keine schlüssigen Gedankengänge aufrechterhalten, keine Gesprächskohärenz wahren und innerhalb einer Sitzung nicht auf zuvor gewonnenem Wissen aufbauen. In der Praxis haben wir zustandsbehaftetes Verhalten auf einer zustandslosen Infrastruktur aufgebaut – und die daraus entstehende Belastung wird allmählich sichtbar.

Die naheliegende Antwort darauf ist Sitzungsaffinität.

Wenn der Kontext erhalten bleiben muss, ist es effizienter, ihn in der Nähe des Ortes vorzuhalten, an dem er zuletzt verwendet wurde. So können zwischengespeicherte Repräsentationen wiederverwendet und die wiederholte Übertragung und Rekonstruktion des Gesprächsverlaufs vermieden werden. Sitzungen werden „sticky“ – nicht aus einer grundsätzlichen Überzeugung heraus, sondern aus betrieblicher Notwendigkeit, da das Verschieben von Zuständen kostspielig wird. Die Latenz sinkt, die Verschwendung von Rechenleistung nimmt ab, und die Illusion der Zustandslosigkeit schwindet weiter, da der Speicher zu einer expliziten Voraussetzung für die Leistungsfähigkeit wird.

Doch Sticky Sessions bringen ihre eigenen Reibungsverluste mit sich. Der Lastausgleich verliert an Flexibilität, die Ausfallsicherung wird komplexer und die verteilte Mobilität wird durch den Speicherort eingeschränkt. Systeme, die auf zustandslose Freiheit ausgelegt sind, müssen sich plötzlich mit der Schwerkraft der Zustandsbehaftung auseinandersetzen. Die naheliegende Gegenmaßnahme besteht darin, den Zustand auszulagern und den Sitzungsspeicher in gemeinsam genutzten Speichern, Retrieval-Systemen oder Kontextdatenbanken abzulegen. So kann jeder Inferenzknoten die Konversation fortsetzen, ohne ihren gesamten Verlauf erneut verarbeiten zu müssen. Dies stellt die Flexibilität beim Routing und die horizontale Skalierbarkeit wieder her, macht den Speicher jedoch zu einer Architekturkomponente, die mit derselben Sorgfalt wie Daten verwaltet werden muss: Konsistenz, Reihenfolge, Integrität und Sicherheit gewinnen nun auf eine Weise an Bedeutung, wie es nicht der Fall war, als der Kontext lediglich in einen Prompt eingebettet war.

An diesem Punkt stellt sich eine grundlegendere Frage, die über die Optimierung hinaus bis in die Designphilosophie reicht: Sollten wir überhaupt weiterhin den gesamten Gesprächsverlauf mitführen?

Wir entwickeln uns hin zu einem selektiven Zustand

Der derzeitige Ansatz behandelt den Kontext wie ein stetig wachsendes Transkript – eine fortlaufende Abfolge von Tokens, die vollständig wiedergegeben wird. Maschinen sind jedoch nicht an die Grenzen menschlicher Kommunikation gebunden. Bereits heute zeichnet sich eine Entwicklung hin zu einem selektiven Gedächtnis ab, bei dem Zusammenfassungen den unverarbeiteten Verlauf ersetzen, gezielter Abruf an die Stelle von Wiederholungen tritt und ein strukturiertes Gedächtnis dauerhaftes Wissen von flüchtigen Dialoginhalten unterscheidet. Anstatt die gesamte Vergangenheit mitzuführen, bewahren Systeme zunehmend nur noch das auf, was relevant bleibt. So entsteht ein mehrschichtiges Gedächtnis, in dem der unmittelbare Kontext, verdichtete Zusammenfassungen und dauerhaft gespeichertes Wissen jeweils unterschiedliche Aufgaben erfüllen. Die Architektur entwickelt sich vom Speichern sämtlicher Informationen hin zu einem intelligenten Erinnern.

Das ist der eigentliche Wandel, der sich derzeit vollzieht.

Die Branche setzte anfangs auf zustandslose Datenverarbeitung, weil Rechenleistung knapp war und Speicher ohne große Kosten verworfen werden konnte. KI kehrt dieses Verhältnis um und macht Kontext und Kontinuität zu zentralen Aspekten der Architektur. Zustände sind nie wirklich verschwunden; sie wurden lediglich mitgeführt, wiederhergestellt und in zustandslosen Designs verborgen. Mit zunehmender Reife von KI-Systemen wird diese Verschleierung schwinden, und Architekturen werden sich hin zu einer gezielten Speicherverwaltung entwickeln, anstatt Kontext fortwährend zu übertragen.

Sitzungen werden weiterhin an bestimmte Instanzen gebunden bleiben, weil Kontinuität einen Wert hat. Kontext wird weiterhin haften bleiben, weil Bedeutung vom Gedächtnis abhängt. Die Fiktion der Zustandslosigkeit wird weiter bröckeln und durch Systeme ersetzt werden, die genau wissen, was sie sich merken, wo sie es speichern und wann sie es freigeben müssen. Denn die Zukunft skalierbarer KI gehört nicht den Systemen, die ihren Zustand überallhin mitnehmen, sondern jenen, die ihn klug verwalten.

Über den Autor

Lori Mac VittieDistinguished Engineer und Chief Evangelist | F5

Lori MacVittie ist Distinguished Engineer und Chief Evangelist im Office of the CTO von F5 und verfügt über umfassende Expertise in den Bereichen Anwendungsbereitstellung, Automatisierungsstrategie und Infrastruktur. Sie ist dafür bekannt, Komplexität verständlich zu machen – ob sie Leitplanken für KI-Agenten definiert, fragile Multicloud-Architekturen analysiert oder die Grenzen skalierbarer Systeme auslotet. Sie verfügt über mehr als dreißig Jahre Branchenerfahrung in der Anwendungsentwicklung, IT-Architektur sowie im Netzwerk- und Systembetrieb. Bevor sie zu F5 kam, war sie als mehrfach ausgezeichnete Technologie-Redakteurin tätig. MacVittie hat einen Masterabschluss in Informatik und ist eine produktive Autorin, deren Veröffentlichungen die Bereiche Sicherheit, Cloud und Unternehmensarchitektur abdecken. Außerdem spielt sie leidenschaftlich gern Brett- und Videospiele und vertritt mit voller Überzeugung klare Ansichten zum Thema Käse.

Weitere Blogbeiträge von Lori Mac Vittie