Wir tun weiterhin so, als wären Modelle nur Endpunkte. Als gäbe es die Server, auf denen die Systeme laufen, die Eingaben in eine Reihe unverständlicher Zahlen umwandeln, überhaupt nicht.
Ach, mein Freund, es gibt sie, und sie werden für die Bereitstellung von Anwendungen genauso wichtig sein, wie es Web- und Anwendungsserver bisher waren. Außerdem werden sie Sie erneut dazu zwingen, Ihre Infrastrukturarchitektur neu zu konzipieren.
Sobald Sie ein Modell hinter einem Endpunkt bereitstellen (also einen Inferenzserver implementieren), gelangt es auf dieselben Datenautobahnen der Schichten 4 bis 7 (L4–L7), über die auch Ihr Geschäftsbetrieb läuft. Unsere neuesten Forschungsergebnisse zur KI-Sicherheit zeigen, dass 80 % der Unternehmen Inferenz bereits in der Cloud oder lokal ausführen. Damit ist Ihr Modell nun eine weitere Produktions-Workload, deren Datenverkehr über Load Balancer, Gateways, WAFs und API-Broker läuft.
Außerdem haben wir einige möglicherweise unbequeme Wahrheiten erfahren.
Inferenz vervielfacht APIs
Erstens vervielfacht der Betrieb von Inferenzsystemen die Zahl der APIs. Jeder neue Assistent, jeder Scoring-Dienst und jedes Feature-Flag, das ein Modell umgibt, wird zu einem weiteren Zugangspunkt. Dadurch entstehen mehr Einfallstore für Prompt-Injection, Datenlecks und die Manipulation von Ausgaben sowie mehr Ost-West-Pfade, über die Kontext unkontrolliert weitergegeben werden kann. Der Einsatz von Inferenzsystemen geht zwar mit einer besseren Laufzeithygiene einher, doch die Lücke bleibt problematisch. Bei Teams, die Inferenzsysteme betreiben, werden 14 % der Prompts noch immer ungeprüft durchgelassen. Bei Nutzern, die ausschließlich SaaS-Angebote verwenden, steigt dieser Anteil auf 40 %. Auf Prüfungen zu verzichten bedeutet nicht, „es einfach zu halten“. Es ist, als ließe man das Scheunentor offen und lobte das Pferd noch für seine Kondition, während es davonrennt.
Deshalb ist der Kontrollpunkt so wichtig. Inferenz läuft über dieselben Leitungen wie Ihre APIs, daher müssen Richtlinien direkt im Datenpfad durchgesetzt werden. Betreiber scheinen das verstanden zu haben. 61 Prozent nutzen ein KI-Gateway zur Überprüfung von Ein- und Ausgaben, 39 Prozent setzen zusätzlich Firewalls ein und 35 Prozent verwenden eigene Proxys. Nutzer, die ausschließlich SaaS-Angebote verwenden, verlassen sich dagegen auf die Standardeinstellungen der Anbieter – und das merkt man. Bei ihnen ist die Wahrscheinlichkeit, dass sie vollständig auf Tests oder Monitoring verzichten, dreimal so hoch. Zudem protokollieren 30 Prozent weder Prompts noch Ausgaben für Audits, während nur 8 Prozent der Inferenzbetreiber auf eine Protokollierung verzichten. Das zeigt einen unterschiedlichen Reifegrad, bietet aber auch eine Chance. Wenn Ihre Anwendungen KI-Dienste von Drittanbietern nutzen, dient ein KI-Gateway als zentraler Ansatzpunkt für kontinuierliche Tests, Filterung und die Durchsetzung von Richtlinien. Verlassen Sie sich nicht auf einen höflich formulierten Prompt und ein Stoßgebet.
Inferenz erhöht die Bedeutung von DPUs
Zweitens: Inferenz macht DPUs von einer optionalen Ergänzung zu einer Notwendigkeit. Von den Teams, die Inferenz ausführen, ziehen 71 % beim Kauf von Hardware oder bei der Auswahl von Instanzen DPUs in Betracht oder setzen sie ein. In der Gruppe ohne Inferenzbereitstellung liegt dieser Anteil bei 43 %. Wenn verschlüsselter Datenverkehr, Inline-Inspektion und Richtlinienauswertung über dieselben Systeme laufen, die auch Ihre Anwendungen am Laufen halten, ist die Auslagerung von Aufgaben kein bloßer Trick zur Leistungssteigerung. Sie sorgt dafür, dass die Latenz beim Entschlüsseln, Klassifizieren, Prüfen und Durchsetzen von Richtlinien in großem Maßstab vertretbar bleibt. DPUs beschleunigen genau die Aufgaben, die für Inferenz besonders wichtig sind: Transport Layer Security (TLS), Telemetrie, granulare Richtlinien und Prüfungen einzelner Anfragen. Einfach ausgedrückt: Mehr Inferenz bedeutet mehr Arbeit im Netzwerk – und DPUs übernehmen diese Last.
Inferenz erfordert die Berücksichtigung des Kontexts
Schließlich ist der Kontext die zweite Leitplanke, die die meisten Teams außer Acht lassen. Inferenz umfasst nicht nur Ein- und Ausgaben, sondern auch den bisherigen Verlauf, Informationsabrufe, Tools und die Kommunikation zwischen Agenten. Während Unternehmen die Einführung des Model Context Protocol (MCP) ins Auge fassen, zeichnet sich bereits dasselbe Muster ab: 58 % der Unternehmen, die Modelle bereitstellen, planen die Einführung von MCP und damit eine Standardisierung – gegenüber 21 % in der Gruppe ohne eigene Bereitstellung. Der Reiz liegt auf der Hand: MCP verspricht strukturierte Kontextflüsse.
Auch das Risiko liegt auf der Hand. Ein undurchsichtiger Kontext kann zu einem Seitenkanal werden, der Ihre wohlklingenden Richtlinien umgeht. Daher ist eine Prüfung erforderlich, die nicht nur Prompts und Ausgaben versteht, sondern auch die Herkunft und die Richtlinien des Kontexts selbst. Wenn Sie keine ungeprüften Daten in Ihre Trading-Engine einspeisen würden, sollten Sie auch keinen ungeprüften Kontext in Ihr Modell einfließen lassen.
Die Auswirkungen auf die Infrastrukturarchitektur
Was bedeutet das alles nun für Ihre Architektur? Denn Sie wissen, dass es Auswirkungen hat.
Die wichtigsten Erkenntnisse
- Richtlinien direkt in den Datenpfad integrieren. Gateways und L7-Proxys sind bereits Teil des Datenflusses. Machen Sie sie inferenzfähig. Prüfen Sie Prompts, filtern Sie Ausgaben, kennzeichnen Sie Daten und setzen Sie anwendungs- und benutzerspezifische Limits durch, die für Modelle tatsächlich relevant sind.
- Nutzen Sie DPUs, um die Latenz im Zaum zu halten. Wenn Sie erwarten, zur Laufzeit ohne Auslagerung entschlüsseln, klassifizieren, prüfen und Richtlinien durchsetzen zu können, werden Sie an einem Freitagabend Sicherheit gegen Leistung eintauschen und am Montag so tun, als wäre das eine wohlüberlegte Entscheidung gewesen.
- Behandeln Sie Kontext wie eine Lieferkette. Standardisieren Sie seine Zusammenstellung, kennzeichnen Sie ihn, validieren Sie ihn vor der Verwendung und dokumentieren Sie seine Herkunft. MCP ist hilfreich, aber nur in Verbindung mit Observability und Durchsetzungsmechanismen, die den Missbrauch von Kontext erkennen und unterbinden können.
Die wichtigste Erkenntnis aus unserer jüngsten Untersuchung ist schlicht, dass Inferenz inzwischen eine Workload erster Klasse ist. Sie läuft über dieselbe Infrastruktur wie alles andere, birgt jedoch neue Risiken, die sich mit Ihren gewohnten „API-Reflexen“ nicht vollständig abdecken lassen.
Machen Sie die Datenpfade intelligenter, verlagern Sie rechenintensive Aufgaben auf DPUs und kontrollieren Sie nicht nur den Aufruf, sondern auch den Kontext. Teams, die dies umsetzen, können schneller ausliefern und ruhiger schlafen. Alle anderen werden Resilienz auf die harte Tour lernen.
Über den Autor
Lori MacVittie ist Distinguished Engineer und Chief Evangelist im Office of the CTO von F5 und verfügt über umfassende Expertise in den Bereichen Anwendungsbereitstellung, Automatisierungsstrategie und Infrastruktur. Sie ist dafür bekannt, Komplexität verständlich zu machen – ob sie Leitplanken für KI-Agenten definiert, fragile Multicloud-Architekturen analysiert oder die Grenzen skalierbarer Systeme auslotet. Sie verfügt über mehr als dreißig Jahre Branchenerfahrung in der Anwendungsentwicklung, IT-Architektur sowie im Netzwerk- und Systembetrieb. Bevor sie zu F5 kam, war sie als mehrfach ausgezeichnete Technologie-Redakteurin tätig. MacVittie hat einen Masterabschluss in Informatik und ist eine produktive Autorin, deren Veröffentlichungen die Bereiche Sicherheit, Cloud und Unternehmensarchitektur abdecken. Außerdem spielt sie leidenschaftlich gern Brett- und Videospiele und vertritt mit voller Überzeugung klare Ansichten zum Thema Käse.
Weitere Blogbeiträge von Lori Mac VittieÄhnliche Blogbeiträge
KI-App-Bereitstellung – Top 10: Nicht optimierte Datenverkehrssteuerung
KI stellt herkömmliche Annahmen zur Datenverkehrssteuerung infrage: Backends sind nicht austauschbar, die Kosten variieren und Agenten verzweigen sich unvorhersehbar – daher muss das Routing Modell, GPU-Zustand und Datenlokalität berücksichtigen.
Top 10 der KI-Anwendungsbereitstellung: Fehlende Fehlertoleranz und Ausfallsicherheit
KI macht klassische Resilienzdefizite deutlich kostspieliger: Der Ausfall einer einzelnen GPU oder Abhängigkeit kann sich durch synchrone Inferenzketten fortpflanzen, wodurch sich Latenzen summieren und die Qualität der Ausgaben sinkt.
Die neue Herausforderung der hybriden Multicloud: Betrieb ohne Plattform für Anwendungsbereitstellung und Sicherheit
Unternehmen kehren On-Premises-Umgebungen nicht den Rücken – sie modernisieren sie. Da ihre Portfolios weiterhin gemischt bleiben, müssen Anwendungsbereitstellung und Sicherheit von umgebungsspezifischen Funktionen auf eine einheitliche Plattform umgestellt werden.
Programmierbarkeit ist der einzige Weg, wie Kontrolle im KI-Maßstab bestehen kann
Erfahren Sie, warum die Programmierbarkeit der Daten- und Steuerungsebene entscheidend ist, um KI-gestützte Systeme zu skalieren und abzusichern und in einer sich schnell verändernden Umgebung die Kontrolle in Echtzeit zu gewährleisten.
Die fünf wichtigsten Technologietrends, die Sie 2026 im Blick behalten sollten
Entdecken Sie die wichtigsten Technologietrends des Jahres 2026, in dem Inferenz die KI dominiert – von Kostenstellen und Edge-Bereitstellung bis hin zu Governance, IaaS und Interaktionsschleifen agentischer KI.
Der Einfluss von Inferenz: APIs, DPUs und Kontextchaos
KI-Inferenz verändert die Infrastruktur grundlegend: Sie vervielfacht APIs, belastet Rechenressourcen und erschwert die Kontextverwaltung. Erfahren Sie, warum eine intelligentere Architektur und Laufzeitrichtlinien unverzichtbar sind.