Inferenz: Der wichtigste Teil der KI, von dem du so tust, als gäbe es ihn nicht

Lori Mac VittieDistinguished Engineer und Chief Evangelist | F5

Alle wollen über KI sprechen, als würde sie mit APIs beginnen und enden. Mit Modellen. Mit schicken Dashboards, auf denen „Inferenz abgeschlossen“ steht. Doch diese Illusion hält nur so lange, wie man nie unter die Haube schaut.

Unter jedem Chatbot, Agenten, jeder RAG-Pipeline und jeder Orchestrierungsschicht steckt ein Inferenzserver. Keine Metapher. Kein Schlagwort. Ein echter Anwendungsserver, auf dem statt einer JAR-Datei ein Modell ausgeführt wird. Und genau wie bei herkömmlichen Anwendungsservern sind Inferenz-Engines der Punkt, an dem die Performance einbricht, Observability entscheidend ist und sich Ihre tatsächliche Angriffsfläche befindet.

Das Problem? Fast niemand behandelt sie als solche.

Inferenz in Unternehmen ist keine Theorie

Laut der KI-Infrastrukturumfrage 2025 des Uptime Institute unterstützen bereits 32 % der Rechenzentrumsbetreiber Inferenz-Workloads. Weitere 45 % geben an, dies in den nächsten Monaten tun zu wollen. Das ist kein Experiment mehr. Es handelt sich um einen Wandel der zugrunde liegenden Recheninfrastruktur – einen Wandel, für den uns bislang noch weitgehend der Einblick fehlt.

Inferenzserver sind keine Theorie. Sie haben Namen: vLLM, TGI, Triton, Ollama. Und sie sind nicht austauschbar. Für vLLM beispielsweise wurde eine höhere Leistung nachgewiesen als für Hugging Face Transformers – um das bis zu 24-Fache. Dank architektonischer Verbesserungen wie PagedAttention und gebündelter Ablaufplanung erzielt vLLM zudem einen mehr als dreimal so hohen kontinuierlichen Durchsatz wie TGI. Das sind keine bloßen Eigenheiten der Optimierung. Sie haben konkrete Folgen für die Infrastruktur.

Wir sprechen hier von konkreten Zahlen: Im Batch-Modus erreicht vLLM dauerhaft über 500 Token pro Sekunde, während TGI unter 150 bleibt. Die Dauer der Prompt-Auswertung sinkt um mehr als 40 %, was unmittelbar zu kürzeren Antwortzeiten und einer besseren GPU-Auslastung führt. Im Produktivbetrieb entscheidet das darüber, ob sich die Inferenz skalieren lässt oder unter Last ins Stocken gerät.

Und es geht nicht nur um Performance. Tools wie vLLM und Ollama stellen detaillierte Telemetriedaten bereit: Gesamtdauer, Auswertungszeitfenster auf Token-Ebene und eine Aufschlüsselung nach Prompt und Antwort. Dabei geht es nicht nur um die Anzahl der Tokens, sondern auch darum, wann, wo und wie lange die Berechnung jedes einzelnen Tokens gedauert hat. Mit diesem Detailgrad lassen sich Abweichungen gezielt untersuchen und Schutzmechanismen durchsetzen. Ohne diese Einblicke skalieren Sie im Blindflug.

Wie schon bei den Anwendungsservern, die ihnen vorausgingen, treffen bei der Inferenz Anwendungsbereitstellung und -sicherheit auf KI. Hier finden Traffic-Steuerung und Lastverteilung statt; hier werden Nutzdaten geprüft, analysiert und verarbeitet, um Sicherheit und Datenschutz zu gewährleisten. Hier werden Prompts bereinigt, Antworten gefiltert und die Leistung optimiert. Sie ist der strategische Kontrollpunkt in KI-Architekturen, an dem Unternehmen die zehn größten Herausforderungen bei der Bereitstellung bewältigen können, mit denen Anwendungen und APIs stets zu kämpfen haben – ob Legacy-, moderne oder KI-Anwendungen.

Warum Inferenz ins Hintertreffen gerät

Inferenz wird oft übersehen, weil wir immer noch in der API-Welt feststecken. Doch wer glaubt, Inferenz sei nur ein weiterer Dienst hinter einem Ingress, hat noch nie versucht, eine RAG-Schleife unter Last zu debuggen. Oder Fehlfunktionen über mehrere parallel ausgeführte Agentenketten hinweg nachzuverfolgen. Oder Prompt-Injection in einem regulierten Large Language Model (LLM) zu bewältigen, das jede Entscheidung für Auditzwecke protokollieren muss.

Das ist kein theoretisches Problem. Das ist ein Netzwerkengpass, der nur darauf wartet, aufzutreten.

Inferenzserver sind der Container für Ihr Modell. Sie sind die Laufzeitumgebung. Der Engpass. Die Sicherheitsgrenze. Der Ort, an dem Sie KI tatsächlich skalieren. Ein Modell ist Mathematik. Es ist ein Datensatz, eine ausgefeilte Excel-Tabelle. Das skalieren Sie nicht; Sie laden es auf einen Inferenzserver, und diesen skalieren Sie.

Wenn Sie es also ernst damit meinen, KI in den operativen Betrieb zu überführen, sollten Sie aufhören, über abstrakte Architekturdiagramme zu sprechen, und stattdessen die schwierigeren Fragen stellen:

• Welche Inferenz-Engines setzen wir ein?
• Wo werden sie eingesetzt?
• Wer kann darauf zugreifen?
• Welche Telemetriedaten erfassen wir pro Anfrage?

Das sind keine akademischen Fragestellungen, sondern grundlegende Wahrheiten der Infrastruktur. Und je länger wir sie ignorieren, desto anfälliger werden unsere KI-Bereitstellungen. Modelle sind wichtig. APIs sind hilfreich. Doch bei der Inferenz zeigt sich die Realität. Wer die Inferenz nicht skaliert, skaliert auch die KI nicht.

Inferenz ist eine entscheidende Komponente der KI-Infrastruktur

Die meisten Unternehmen verfolgen bei KI noch immer einen hybriden Ansatz, indem sie der Einfachheit halber auf SaaS-basierte Tools setzen und gleichzeitig vorsichtig selbst gehostete Inferenzlösungen erproben. Das Problem dabei: SaaS verbirgt die schwierigen Aspekte. Die Inferenz wird hinter eleganten APIs und ausgereiften Benutzeroberflächen abstrahiert. Man sieht weder, wenn die Engine aussetzt, noch wenn die GPU an ihre Grenzen stößt oder das Timing der Prompts abweicht. Doch sobald man sich auf selbst gehostetes Terrain begibt – und das wird früher oder später passieren –, übernimmt man all diese Herausforderungen. Leistung, Beobachtbarkeit und Sicherheit sind nicht nur „wünschenswert“, sondern unverzichtbare Voraussetzungen.

Wenn Ihr Unternehmen nicht versteht, wie Inferenz unter der Haube tatsächlich funktioniert, entwickeln Sie keine KI-Strategie. Sie hoffen lediglich, dass jemand anderes alles richtig gemacht hat.

Über den Autor

Lori Mac VittieDistinguished Engineer und Chief Evangelist | F5

Lori MacVittie ist Distinguished Engineer und Chief Evangelist im Office of the CTO von F5 und verfügt über umfassende Expertise in den Bereichen Anwendungsbereitstellung, Automatisierungsstrategie und Infrastruktur. Sie ist dafür bekannt, Komplexität verständlich zu machen – ob sie Leitplanken für KI-Agenten definiert, fragile Multicloud-Architekturen analysiert oder die Grenzen skalierbarer Systeme auslotet. Sie verfügt über mehr als dreißig Jahre Branchenerfahrung in der Anwendungsentwicklung, IT-Architektur sowie im Netzwerk- und Systembetrieb. Bevor sie zu F5 kam, war sie als mehrfach ausgezeichnete Technologie-Redakteurin tätig. MacVittie hat einen Masterabschluss in Informatik und ist eine produktive Autorin, deren Veröffentlichungen die Bereiche Sicherheit, Cloud und Unternehmensarchitektur abdecken. Außerdem spielt sie leidenschaftlich gern Brett- und Videospiele und vertritt mit voller Überzeugung klare Ansichten zum Thema Käse.

Weitere Blogbeiträge von Lori Mac Vittie