Wie KI-Inferenz die Anwendungsbereitstellung verändert

Lori Mac VittieDistinguished Engineer und Chief Evangelist | F5

Bei der Anwendungsbereitstellung ging es schon immer darum, drei Dinge sicherzustellen: Leistung, Verfügbarkeit und Zuverlässigkeit. Diese Prinzipien waren über mehrere Generationen von Anwendungsarchitekturen hinweg ausschlaggebend für den Erfolg – von Client-Server-Architekturen über das Web bis hin zur Cloud. Doch künstliche Intelligenz, insbesondere Inferenz, verändert die Ausgangslage.

Heute geben 80 % der Unternehmen an, eigene Inferenzserver zu betreiben. Inferenz ist längst kein Experiment mehr, sondern eine etablierte Workload mit konkreten geschäftlichen Auswirkungen. Dennoch behandeln viele Unternehmen Inferenz-Endpunkte weiterhin wie „eine ganz normale API“. Diese Annahme ist riskant. Im Gegensatz zu herkömmlichen APIs sind Inferenzanfragen probabilistisch, rechenintensiv und kontextabhängig. Werden sie wie herkömmliche Workloads behandelt, gefährdet dies die grundlegenden Ziele der Anwendungsbereitstellung und setzt Unternehmen neuen betrieblichen Risiken und Sicherheitsrisiken aus.

Heute untersuchen wir, wie Inferenz das Zusammenspiel von Leistung, Verfügbarkeit und Zuverlässigkeit (Performance, Availability and Reliability, PAR) bei der Anwendungsbereitstellung neu gestaltet. Außerdem beleuchten wir die algorithmischen Unterschiede, die Unternehmen berücksichtigen müssen, sowie die Auswirkungen auf Bereitstellungstechnologien wie Zustandsüberwachung, Lastverteilung, Datenverkehrsoptimierung und Sicherheit.

Die PAR-Trias: Das Fundament der Anwendungsbereitstellung

So wie die Sicherheit auf der CIA-Triade aus Vertraulichkeit, Integrität und Verfügbarkeit beruht, basiert die Anwendungsbereitstellung auf ihrer eigenen Triade: Leistung, Verfügbarkeit und Zuverlässigkeit.

• Leistung: Reagiert die Anwendung schnell genug, um die Erwartungen der Benutzer zu erfüllen?
• Verfügbarkeit: Ist die Anwendung erreichbar und liefert sie unter hoher Last gültige Ergebnisse?
• Zuverlässigkeit: Kann man sich darauf verlassen, dass sich die Anwendung dauerhaft konsistent verhält?

Jahrzehntelang galt diese Triade für deterministische Workloads. Antworten waren vorhersehbar, Korrektheit wurde vorausgesetzt und die Kosten waren stabil. Inferenz-Workloads stellen diese Annahmen infrage. Da Inferenz probabilistisch und hinsichtlich des Rechenaufwands variabel ist, müssen die Definitionen von Leistung, Verfügbarkeit und Zuverlässigkeit weiterentwickelt werden.

Performance: Von deterministisch zu probabilistisch

In herkömmlichen Systemen wurde die Leistung in Millisekunden gemessen. Identische Anfragen führten zu nahezu identischen Ergebnissen. Bei der Inferenz ist das anders. Die Latenz variiert je nach Modellgröße, Komplexität der Eingabe, Batching-Strategien und Generierungseinstellungen. Selbst zwei identische Prompts können unterschiedliche Antwortzeiten aufweisen.

Für Unternehmen bedeutet dies, dass Leistung nicht nur anhand der durchschnittlichen Latenz, sondern auch anhand von Schwankungsbreite und Effizienz definiert werden muss. Entscheidend ist also, wie schnell Tokens generiert werden, wie stabil der Durchsatz unter Last bleibt und wie gut sich die Kosten kalkulieren lassen.

Verfügbarkeit: Erreichbarkeit muss auch Korrektheit umfassen

Traditionell wurde Verfügbarkeit binär betrachtet: Das System war entweder verfügbar oder ausgefallen. Korrektheit wurde vorausgesetzt, da die Codeausführung deterministisch war. Bei Inferenz darf Verfügbarkeit jedoch nicht bei der Erreichbarkeit enden. Ein Modell kann online und dennoch unbrauchbar langsam, mit Kontext überlastet oder mit großer Überzeugung falsch sein.

Verfügbarkeit setzt heute sowohl Korrektheit als auch Reaktionsfähigkeit voraus. Systeme müssen nicht nur danach bewertet werden, ob sie eine Antwort liefern, sondern auch danach, ob diese rechtzeitig erfolgt und gültig ist.

Zuverlässigkeit: Von Konsistenz zu semantischer Konsistenz

Zuverlässigkeit bedeutete einst, dass Systeme bei identischen Eingaben identische Ausgaben erzeugten. Inferenz-Workloads widersprechen dieser Erwartung. Schwankungen sind unvermeidlich. Modellaktualisierungen, erneutes Training und stochastische Generierung führen allesamt zu Abweichungen. Tokenbasierte Abrechnungsmodelle erschweren die Vorhersagbarkeit zusätzlich.

Zuverlässigkeit muss nun anhand der semantischen Konsistenz gemessen werden: Kann das System trotz Nichtdeterminismus dauerhaft Ergebnisse von akzeptabler Qualität, Genauigkeit und Vorhersagbarkeit liefern?

Algorithmische und kommunikative Unterschiede

Inferenz-Workloads unterscheiden sich grundlegend von Web- und Anwendungsservern:

• Batching: Anfragen können gruppiert werden, um die GPU effizienter auszulasten. Dadurch kann die FIFO-Reihenfolge gestört werden und die Latenz schwanken.
• Streaming: Antworten werden Token für Token übermittelt, sodass die Auslieferungssysteme Teilausgaben und Abbrüche verarbeiten können müssen.
• Sampling- und Suchstrategien: Die Variabilität der Ausgabe wird durch algorithmische Entscheidungen wie Temperatur, Top-k-Sampling oder Strahlsuche bestimmt.
• Routing: Die Auswahl von Modellen und Experten fügt eine Ebene dynamischen Verhaltens hinzu, die in deterministischen Systemen nicht vorkommt.

Diese Unterschiede verändern sowohl die Leistung als auch die Semantik der Inferenz auf eine Weise, für die herkömmliche Bereitstellungsprodukte nicht ausgelegt sind.

Auswirkungen auf die Sicherheit

Inferenz birgt auch neue Risiken. Laut unserer Studie testen oder überwachen 84 % der Unternehmen Prompt-Injection, Jailbreaks oder die Manipulation von Ausgaben. Mehr als die Hälfte (56 %) überprüft bereits die Ein- und Ausgaben bei der Inferenz über Gateways oder Middleware. Dennoch lässt jedes fünfte Unternehmen weiterhin ungeprüfte Prompts direkt an Modelle gelangen – vergleichbar mit dem Betrieb einer Webanwendung ohne Firewall.

Die Lehre daraus ist eindeutig: Wer Inferenz wie eine herkömmliche API behandelt, setzt sein Unternehmen Risiken aus. Verfügbarkeit und Zuverlässigkeit brechen ein, wenn Korrektheit und semantische Integrität außer Acht gelassen werden. Unternehmen müssen inferenzspezifische Schutzmaßnahmen in ihren Stack für die Anwendungsbereitstellung integrieren – von der Durchsetzung von Richtlinien zur Laufzeit bis hin zur Erkennung adversarieller Anomalien.

Fazit

Inferenz ist keine Zukunftsmusik mehr, sondern bereits heute fester Bestandteil des produktiven Unternehmenseinsatzes. Achtzig Prozent der Unternehmen betreiben bereits eine eigene Inferenzinfrastruktur. Doch Inferenz ist nicht einfach nur eine weitere API. Sie bringt probabilistische Ausführung, Korrektheitsrisiken und semantische Variabilität mit sich und definiert damit neu, was es bedeutet, Anwendungen bereitzustellen.

Im KI-Zeitalter muss sich die Anwendungsbereitstellung weiterentwickeln. Unternehmen müssen ihre Strategien und Technologien anpassen, um sicherzustellen, dass inferenzgestützte Systeme leistungsfähig, verfügbar und zuverlässig – also nutzbar, vorhersehbar, sicher und korrekt – bleiben, selbst wenn die zugrunde liegende Ausführung von Natur aus probabilistisch ist.

Über den Autor

Lori Mac VittieDistinguished Engineer und Chief Evangelist | F5

Lori MacVittie ist Distinguished Engineer und Chief Evangelist im Office of the CTO von F5 und verfügt über umfassende Expertise in den Bereichen Anwendungsbereitstellung, Automatisierungsstrategie und Infrastruktur. Sie ist dafür bekannt, Komplexität verständlich zu machen – ob sie Leitplanken für KI-Agenten definiert, fragile Multicloud-Architekturen analysiert oder die Grenzen skalierbarer Systeme auslotet. Sie verfügt über mehr als dreißig Jahre Branchenerfahrung in der Anwendungsentwicklung, IT-Architektur sowie im Netzwerk- und Systembetrieb. Bevor sie zu F5 kam, war sie als mehrfach ausgezeichnete Technologie-Redakteurin tätig. MacVittie hat einen Masterabschluss in Informatik und ist eine produktive Autorin, deren Veröffentlichungen die Bereiche Sicherheit, Cloud und Unternehmensarchitektur abdecken. Außerdem spielt sie leidenschaftlich gern Brett- und Videospiele und vertritt mit voller Überzeugung klare Ansichten zum Thema Käse.

Weitere Blogbeiträge von Lori Mac Vittie