Okay, Leute, jetzt mal Stopp. Ich höre ständig, wie Begriffe wie „Tokens“ und „Modelle“ wie Slang der Generation Z in einem TikTok-Video umhergeworfen werden – und meistens ist das völlig falsch.
Ich habe gesagt, was ich gesagt habe.
Es ist (höchste) Zeit, darzulegen, wie inferenzbasierte Anwendungen aufgebaut sind, wo Tokens erzeugt und verbraucht werden und wie die verschiedenen Puzzleteile zusammenpassen. Also schnappen Sie sich einen Kaffee und lassen Sie uns direkt einsteigen.
Was ist ein Inferenzserver?
Eigentlich sollte ich nicht hier anfangen müssen, aber ich tue es trotzdem. Wenn wir von „Inferenz“ sprechen, meinen wir damit im Grunde die Art und Weise, wie ein großes Sprachmodell (LLM) seine riesigen Datenmengen verarbeitet und daraus Schlussfolgerungen zieht. Ein LLM wird nicht direkt aufgerufen. So etwas wie eine „LLM-API“ gibt es eigentlich nicht – und wenn Sie diesen Begriff verwenden, werde ich Ihnen einen strengen Mutterblick zuwerfen.
Die APIs, mit denen Inferenz aufgerufen wird, laufen – Überraschung! – über einen Inferenzserver.
Inferenzserver sind Laufzeitumgebungen für KI-Modelle, so wie Anwendungsserver Laufzeitumgebungen für Java und zahlreiche andere Programmiersprachen sind. In der Regel führt man ein Modell nicht lokal ohne einen Inferenzserver aus. Zu den gängigen Optionen gehören Ollama, vLLM, NVIDIA Triton und HuggingFace Text Generation Interface (TGI).
Wie bei Anwendungsservern, auf denen üblicherweise ein Anwendungspaket bereitgestellt wird, stellen Sie auf einem Inferenzserver ein „KI-Paket“ (ein Modell) bereit. Der Server dient dazu, die Funktionen des KI-Modells über eine API mit einer minimalen Anzahl von API-Endpunkten (z. B. /generate, /completions oder /embeddings in REST oder gRPC) bereitzustellen, die auf Modellinferenzaufgaben wie Textgenerierung, Tokenisierung oder Embeddings ausgerichtet sind.
Um mit einem Inferenzserver zu interagieren, entwickeln Sie eine App. Ja, eine klassische Anwendung (die natürlich auch modern sein kann), und sie kommuniziert mit dem Inferenzserver.
Auch die Benutzer erhalten eine App, entweder im Browser oder auf dem Smartphone. Diese kommuniziert in der Regel über eine ganz gewöhnliche API mit der von Ihnen entwickelten Anwendung. Und voilà! Damit haben Sie einen vollständigen Nachrichtenfluss vom Client über die Anwendung zum Inferenzserver und wieder zurück.
Ja, im Grunde ist es nur eine neue Variante der dreischichtigen Webanwendung, bei der die Datenschicht durch die Inferenzschicht ersetzt wird. Ich weiß, furchtbar enttäuschend, oder?
Die einfachste Form einer KI-App ist eine dreischichtige Webanwendung, bei der die Datenschicht durch einen Inferenzserver ersetzt wird.
- Empfängt eine JSON-Anfrage, führt optional eine Retrieval-Augmented Generation (RAG) durch und ruft anschließend den Inferenzserver mit JSON auf. RAG bedeutet in der Regel: ein Embedding der Benutzeranfrage erstellen, in einem Vektor- oder Suchindex nach ähnlichen Inhalten suchen und diese Ausschnitte in den Prompt einfügen. All das ist weiterhin Datenverkehr in Form von JSON. Es wurden noch keine Modell-Tokens erzeugt.
- Der Inferenzserver analysiert das JSON und tokenisiert den Text in die Tokens des Modells, prüft Kontext und Kontingente, fasst kompatible Anfragen zu Batches zusammen, führt das Modell aus und dekodiert anschließend die Ausgabe-Tokens wieder in Text. Er gibt eine JSON-Antwort an den Aufrufer zurück. Beim Streaming werden die Tokens während ihrer Generierung dekodiert und gesendet. Die meisten APIs enthalten außerdem einen Nutzungsblock mit der Anzahl der Eingabe- und Ausgabe-Tokens.
Das ist Inferenz. Einfach eine neue Art von Anwendungslast, bei der sich dieselbe operative Disziplin auszahlt, auf die wir schon immer Wert gelegt haben – nur dass sie sich jetzt in Tokens, Kontext und Streams statt in Sitzungen, Cookies und Abfragen ausdrückt.
Wo sind also eigentlich die Tokens?
An dieser Stelle kommen viele durcheinander und verwenden Begriffe auf eine Weise, die gegen die oberste Direktive der Terminologie verstößt. Token sind Worteinheiten, die von einem LLM verarbeitet werden. Sie werden offiziell von einem Tokenizer auf dem Inferenzserver erzeugt.
Sie können einen Tokenizer in Ihre App integrieren, um Tokens vorab für die Kostenschätzung und lokale Ratenbegrenzungen zu zählen. Die maßgebliche Tokenanzahl wird jedoch im Inferenz-Stack ermittelt. Tokens sind eine Modelldarstellung, kein Netzwerkverkehr; über die Leitung wird JSON-Text übertragen. Token-IDs sehen Sie nur, wenn die API sie ausdrücklich zurückgibt.
Standardmäßig sieht die Infrastruktur keine Tokens, sondern JSON. Tokens werden nicht über die Leitung übertragen. Wenn die Infrastruktur Tokens verarbeiten soll, müssen Sie sie am Gateway mit demselben Tokenizer zählen oder die vom Modellserver ausgegebenen Zählwerte verwenden. Tokens sind die Währung der KI, befinden sich jedoch größtenteils innerhalb des Inferenz-Stacks, sofern Sie sie nicht explizit sichtbar machen.
Die Auswirkungen von Inferenz auf die Infrastruktur
Inferenz ist nichts Mystisches. Sie ist eine Anwendungslast mit neuen Stellschrauben. Der Datenverkehr besteht aus JSON. Token sind Modelleinheiten. Embeddings sind Vektoren. Wer diese Dinge verwechselt, entwickelt die falschen Steuerungsmechanismen, bepreist die falsche Größe und sucht Fehler auf der falschen Ebene. So könnte beispielsweise ein Routing anhand der JSON-Größe statt der Token-Anzahl ein Modell mit Anfragen überlasten, die einen langen Kontext enthalten.
Wenn Ihre Infrastruktur Token berücksichtigen soll, müssen Sie ihr beibringen, wie das geht. Setzen Sie am Gateway einen Tokenizer ein oder verwenden Sie die vom Modellserver ausgegebenen Zählwerte. Andernfalls sehen Ihre Router Text statt Token und treffen Entscheidungen auf Textebene, während Ihre Kosten auf Token-Ebene anfallen. Beachten Sie, dass der Tokenizer zum jeweiligen Modell passen muss (der Tokenizer von GPT-4 unterscheidet sich beispielsweise von dem von LLaMA), damit die Anzahl korrekt ermittelt wird. Nicht übereinstimmende Tokenizer können zu fehlerhaften Kosten- oder Limitberechnungen führen.
Betrachten Sie Verfügbarkeit nicht nur als reine Erreichbarkeit, sondern als Nutzbarkeit und korrekte Funktionsweise. Erfassen Sie Token pro Sekunde, die Zeit bis zum ersten Token und Kontextfehler (etwa das Überschreiten der Grenzen des Kontextfensters oder inkohärente Ausgaben aufgrund eines überlasteten Kontexts) genauso, wie Sie früher Abfragen pro Sekunde und Cache-Treffer erfasst haben. Nehmen Sie die Protokollierung ernst. Inferenzdaten sind keine Trainingsdaten, sofern Sie sie nicht ausdrücklich dazu erklären. Wenn Sie Prompts und Ausgaben speichern, schützen Sie sie.
Benennen Sie die Dinge korrekt. Messen Sie auf der richtigen Ebene. Setzen Sie Limits dort, wo sie relevant sind – etwa tokenbasierte Kontingente am Gateway, um Kostenüberschreitungen zu verhindern. Dann verhält sich die Inferenz wie der Rest Ihres Stacks: vorhersehbar, bezahlbar und im besten Sinne unspektakulär. Mit Tokens bezahlen Sie für Entscheidungen innerhalb des Modells, nicht für Bandbreite in Ihrem Netzwerk. Nennen Sie die Dinge beim Namen, dann bleiben Ihre Nutzer zufrieden und Ihre Rechnungen niedrig.
Über den Autor
Lori MacVittie ist Distinguished Engineer und Chief Evangelist im Office of the CTO von F5 und verfügt über umfassende Expertise in den Bereichen Anwendungsbereitstellung, Automatisierungsstrategie und Infrastruktur. Sie ist dafür bekannt, Komplexität verständlich zu machen – ob sie Leitplanken für KI-Agenten definiert, fragile Multicloud-Architekturen analysiert oder die Grenzen skalierbarer Systeme auslotet. Sie verfügt über mehr als dreißig Jahre Branchenerfahrung in der Anwendungsentwicklung, IT-Architektur sowie im Netzwerk- und Systembetrieb. Bevor sie zu F5 kam, war sie als mehrfach ausgezeichnete Technologie-Redakteurin tätig. MacVittie hat einen Masterabschluss in Informatik und ist eine produktive Autorin, deren Veröffentlichungen die Bereiche Sicherheit, Cloud und Unternehmensarchitektur abdecken. Außerdem spielt sie leidenschaftlich gern Brett- und Videospiele und vertritt mit voller Überzeugung klare Ansichten zum Thema Käse.
Weitere Blogbeiträge von Lori Mac VittieÄhnliche Blogbeiträge
Ihr nächster SRE könnte eine Maschine sein
Die Kontrolle konzentriert sich auf den Punkt, an dem die Absicht formuliert wird: Prompts, Tokens und Routing. Die architektonische Herausforderung besteht darin, festzulegen, wo KI handeln darf, wann sie Entscheidungen abgeben muss und wie sich ihre Aktionen rückgängig machen lassen.
Das Geheimnis der Skalierung von KI liegt darin, Conways Gesetz zu überwinden
KI skaliert nicht von allein. Ohne eine einheitliche Steuerungsebene, die Grenzen zwischen Tools und Zuständigkeiten überwindet, wird die Inferenz zur fragilsten und koordinationsintensivsten Ebene.
Identität ist der Torwächter für agentische KI
Da agentenbasierte KI Maschinen von Werkzeugen zu eigenständig Handelnden macht, wird Identität zum zentralen Kontrollmechanismus: Wer darf in wessen Namen und in welchem Umfang handeln? Dies wird direkt zur Inferenzzeit durchgesetzt.
Inferenz ist jetzt das operative Gravitationszentrum
Der Betrieb mehrerer Modelle und API-gesteuerte Automatisierung verlagern die Kontrolle auf die Inferenzebene – auf Prompts, Token- und Steuerungsmechanismen, Routing und Moderation –, wo Kosten, Risiken und Leistung gesteuert werden müssen.
KI, Inferenz und Tokens – du meine Güte!
KI-Anwendungen laufen auf Inferenzservern und werden durch Tokens statt durch Datenverkehr bestimmt. Erfahren Sie, warum das Verständnis von Tokens und JSON-Daten entscheidend für die Entwicklung intelligenterer Infrastrukturen ist.