Kontextfenster in der KI zu verwalten, ist keine Magie. Es ist Architektur.

Lori Mac VittieDistinguished Engineer und Chief Evangelist | F5

Klären wir das also, denn es stellt sich heraus, dass es verdammt wichtig ist, zu verstehen, wo der Kontext (die Sitzung) in KI-Architekturen angesiedelt ist. Und das merkt ihr daran, dass ich in einem Blog tatsächlich „verdammt“ geschrieben habe. Ja, ich meine es wirklich ernst.

Wenn du deine eigene LLM-gestützte App entwickelst und dafür die OpenAI API verwendest, nutzt du nicht ChatGPT. Du kommunizierst mit einem Modell. Einem unverfälschten. Und wenn du glaubst, deine App würde sich wie ChatGPT verhalten, nur weil sie GPT-4 aufruft, bist du bereits auf dem Holzweg.

ChatGPT ist kein Modell, sondern eine Laufzeitumgebung.

Das wird ständig missverstanden, wozu das Branding von OpenAI nicht gerade wenig beigetragen hat. Das „ChatGPT“-Erlebnis – die Erinnerung, der Tonfall, der Kontext, die Fähigkeit, mühelos nachzuvollziehen, was man vor sechs Fragen gesagt hat, ohne plötzlich einen Doktortitel in Meeresbotanik zu halluzinieren – ist keine Magie. Es ist Architektur. Und diese Architektur bekommt man bei der Nutzung der API nicht einfach so mitgeliefert.

Die ChatGPT-App ist eine mehrschichtige, verwaltete Anwendung. Sie vereint:

• Prompt-Engineering
• Kontextmanagement
• Persistenter Speicher
• Guardrails und Ausweichlösungen
• Zusammenfassung, Kürzung und Steuerungslogik

Nichts davon ist standardmäßig in der API enthalten. Gar nichts.

Wenn Sie GPT-4 (oder ein beliebiges anderes Modell) direkt aufrufen, übergeben Sie ihm eine unverarbeitete Abfolge von Nachrichten in einem zustandslosen Format und hoffen, dass das Kontextfenster dabei weder überläuft noch fragmentiert wird. Es ist ein unbeschriebenes Modell, kein digitaler Butler.

Das Kontextfenster liegt in deiner Verantwortung.

In ChatGPT verwaltet der Inferenzserver das gesamte Kontextfenster. Sie tippen, er merkt es sich (bis er es nicht mehr tut), und Sie können sich weitgehend darauf verlassen, dass die App den Überblick darüber behält, was relevant ist. Darüber liegt ein Speichersystem, und OpenAI wählt im Hintergrund aus, welche Informationen wieder eingespeist werden.

Wenn Sie die API verwenden? Sie sind der Inferenzserver. Das bedeutet:

• Sie erstellen den Nachrichtenstapel.
• Sie entscheiden, was Sie aufnehmen möchten.
• Sie verwalten das Token-Budget.
• Sie kürzen, fassen zusammen oder verlieren den Zusammenhang.

Und wenn Sie es falsch machen (und das werden Sie – das passiert uns allen am Anfang), liegt es in Ihrer Verantwortung, wenn das Modell mitten in der Sitzung den Namen des Benutzers vergisst oder anfängt, Daten zu erfinden, die Sie ihm nie gegeben haben.

Gedächtnis ist kein Feature. Es ist Infrastruktur.

ChatGPT hat ein Gedächtnis. Sie nicht – es sei denn, Sie bauen selbst eines. Wenn Sie die API verwenden, ist sie zustandslos. Sie verwalten den gesamten Kontext, den Speicher und den Ablauf. Wenn Sie die ChatGPT-App verwenden, übernimmt OpenAI all das für Sie. Es ist bereits integriert.

Das „Gedächtnis“ in ChatGPT ist nicht einfach nur eine Notiz, die an einen Prompt angehängt wird. Es ist ein System, das Informationen über Nutzer, ihre Präferenzen, Ziele und Einschränkungen sitzungsübergreifend speichert und sie zum richtigen Zeitpunkt kontextbezogen in den Prompt einfügt. Wenn Sie etwas Ähnliches in Ihrer App umsetzen möchten, benötigen Sie:

• Ein Datenspeicher
• Schema für Speichereinträge
• Steuerungslogik, die bestimmt, wann welche Inhalte einbezogen werden
• Eine Möglichkeit, zu verhindern, dass dadurch die Anzahl deiner Tokens unnötig steigt

Mit anderen Worten: Infrastruktur.

Deshalb wirken die meisten selbst entwickelten KI-Apps so unausgereift. Denn sie kommunizieren mit einem LLM, als wäre es ein Chatbot, und nicht wie mit einem Werkzeug innerhalb eines Systems. Das Ergebnis? Verlorene Gesprächsfäden, sich wiederholende Prompts, seltsame Rückschritte und frustrierte Nutzer.

Was bedeutet das?

Wenn Sie auf der API aufbauen, schaffen Sie damit Infrastruktur – ob beabsichtigt oder nicht. Und wenn Ihre Nutzer ein ChatGPT-ähnliches Erlebnis erwarten, müssen Sie Folgendes bieten:

• Dauerhafter Speicher
• Intelligente Kontextkomprimierung
• Rundenbasierte Zustandsverwaltung
• Guardrails, Fallbacks und Injektionslogik

Aber das ist erst der Anfang. Denn wenn Sie das Ganze auf einem App-Delivery-Stack für Unternehmen aufbauen – und das tun Sie doch, oder? ODER? –, dann sollte auch der Rest der Plattform überzeugen.

Hier kommen die Teams für Anwendungsbereitstellung und Sicherheit ins Spiel.

Anwendungsbereitstellung: Sie stellen nicht mehr nur HTML oder JSON bereit

KI-native Apps sind zustandsbehaftet, dialogorientiert und arbeiten häufig in Echtzeit. Das bedeutet:

• Sitzungsaffinität ist plötzlich wieder wichtig. Sie können den Zustand einer Unterhaltung nicht auf zustandslose Backends verteilen, es sei denn, Sie verwalten Sitzungstoken wie im Jahr 2009.
• Latenz ist der Tod jeder guten User Experience. Sie streamen Interaktionen über mehrere Gesprächsrunden hinweg, statt statische Seiten bereitzustellen. Ihre Load Balancer und Ihre Edge-Logik sollten wissen, wie sie latenzarme Gesprächsabläufe priorisieren.
• Token-Kosten = Bandbreite + Rechenleistung + Geld. Eine effiziente Bereitstellung ist jetzt entscheidend. Die Größe der Nutzlast ist nicht nur für das Netzwerk relevant, sondern wirkt sich direkt auf die Abrechnung aus.

Das ist keine reine Informationswebsite. Das ist eine dynamische Benutzeroberfläche. Man kann nicht einfach ein CDN davorschalten und die Sache damit als erledigt betrachten.

Sicherheit: Wenn der Prompt nicht unter Ihrer Kontrolle steht, tragen Sie das Risiko

LLMs lassen sich über Prompts programmieren. Das bedeutet, dass der Prompt nun die Angriffsfläche darstellt.

• Injection-Angriffe sind real und finden bereits statt. Wenn Sie Eingaben nicht sorgfältig bereinigen, ermöglichen Sie es Nutzern, Ihre KI im laufenden Betrieb umzuprogrammieren.
• Prompt-Manipulation kann sensible gespeicherte Informationen offenlegen, Arbeitsabläufe zum Scheitern bringen oder Absichten vortäuschen.
• Modellausgaben können exfiltriert, manipuliert oder vergiftet werden, wenn sie nicht durch Richtliniendurchsetzung und Observability abgesichert werden.

Sicherheitskontrollen müssen sich weiterentwickeln:

• Sie benötigen WAFs, die KI-Datenverkehr verstehen. Das Blockieren von fehlerhaftem JSON reicht nicht aus. Sie benötigen Schutzmechanismen für Anweisungssätze, nicht nur für die Struktur der Nutzdaten.
• Sie benötigen Audit-Trails für LLM-Entscheidungen, insbesondere in regulierten Umgebungen.
• Sie benötigen Ratenbegrenzung und Schutz vor Missbrauch, nicht nur für API-Aufrufe, sondern auch für die Komplexität von Prompts und Kostenspitzen.

Und dabei ist noch nicht einmal der Albtraum der Data Governance berücksichtigt, der mit dem Einfügen von Benutzerdatensätzen in Kontextfenster einhergeht.

Bauen Sie jetzt den richtigen Technologie-Stack auf, bevor agentische KI außer Kontrolle gerät.

Im Grunde ist ChatGPT ein ausgereiftes Produkt. Die OpenAI API ist ein Werkzeug im Rohzustand. Wer beides verwechselt, dem wird der Stack um die Ohren fliegen.

Setzen Sie auf eine durchdachte Architektur. Bauen Sie einen unternehmenstauglichen Stack für Anwendungsbereitstellung und -sicherheit auf, der Ihr wachsendes KI-Portfolio unterstützt. Glauben Sie mir: Das wird noch wichtiger, wenn Sie mit der Entwicklung von KI-Agenten beginnen und dann voller Begeisterung auf agentenbasierte Architekturen setzen. Denn wenn Sie Kontextdrift und Halluzinationen schon bei nutzerorientierten KI-Anwendungen für problematisch halten, warten Sie erst einmal ab, was agentenbasierte KI mit Ihren geschäftlichen und operativen KI-Anwendungen anstellen kann.

Über den Autor

Lori Mac VittieDistinguished Engineer und Chief Evangelist | F5

Lori MacVittie ist Distinguished Engineer und Chief Evangelist im Office of the CTO von F5 und verfügt über umfassende Expertise in den Bereichen Anwendungsbereitstellung, Automatisierungsstrategie und Infrastruktur. Sie ist dafür bekannt, Komplexität verständlich zu machen – ob sie Leitplanken für KI-Agenten definiert, fragile Multicloud-Architekturen analysiert oder die Grenzen skalierbarer Systeme auslotet. Sie verfügt über mehr als dreißig Jahre Branchenerfahrung in der Anwendungsentwicklung, IT-Architektur sowie im Netzwerk- und Systembetrieb. Bevor sie zu F5 kam, war sie als mehrfach ausgezeichnete Technologie-Redakteurin tätig. MacVittie hat einen Masterabschluss in Informatik und ist eine produktive Autorin, deren Veröffentlichungen die Bereiche Sicherheit, Cloud und Unternehmensarchitektur abdecken. Außerdem spielt sie leidenschaftlich gern Brett- und Videospiele und vertritt mit voller Überzeugung klare Ansichten zum Thema Käse.

Weitere Blogbeiträge von Lori Mac Vittie