Top 10 der KI-Anwendungsbereitstellung: Unzureichender Umgang mit Latenz

Lori Mac VittieDistinguished Engineer und Chief Evangelist | F5

Latenz war schon immer das Thema, bei dem wir alle so tun, als ginge es „nur um Performance“ – bis sie das Vertrauen der Nutzer untergräbt, die Zahl der Vorfälle in die Höhe treibt und Ihr Budget still und leise in einem Freudenfeuer verbrennt. Das ursprüngliche ADC06 ordnet dies zu Recht als Problem der Anwendungsbereitstellung ein, denn Latenz beschränkt sich nur selten auf eine einzige Ebene und hält sich nie vornehm zurück. KI verstärkt diese Dynamik, macht sie kostspieliger und sorgt dafür, dass sie sich viel schwerer hinter einem Ladeindikator verbergen lässt.

Der Grund ist einfach: KI-Erlebnisse sind interaktiv, und Menschen nehmen Verzögerungen anders wahr, wenn sie auf eine Antwort warten, die sich wie ein Gespräch anfühlt. Eine langsam ladende Seite ist ärgerlich. Reagiert ein „Assistent“ nur langsam, entsteht der Eindruck, dass etwas nicht stimmt. Und je länger die Pause dauert, desto eher stuft der Nutzer Ihr System gedanklich von „hilfreich“ zu „unzuverlässig“ herab – ganz ohne Dashboard, das ihm dies bestätigen müsste.

Auswirkungen auf die Leistung

Bei der herkömmlichen Bereitstellung von Anwendungen äußert sich Latenz meist in längeren Reaktionszeiten, wodurch sich die Anwendung träge anfühlt. Nutzer beschweren sich, Ihr NPS sinkt, Ihre Konversionsraten gehen zurück und die üblichen Diskussionen darüber beginnen, ob das Netzwerk, die Anwendung, die Datenbank oder „die Cloud“ dafür verantwortlich ist. Dieses Problem war schon immer real, aber auch vertraut – Teams wissen daher, wie sie es einordnen müssen.

Bei KI wird Latenz nicht mehr als Langsamkeit, sondern als Inkompetenz wahrgenommen. Nutzer interpretieren eine lange Pause nicht als „ein verteiltes System, das eben tut, was verteilte Systeme tun“. Sie deuten sie als Zögern, Verwirrung oder Versagen – und hat sich dieser Eindruck erst einmal festgesetzt, bleibt er meist bestehen. Die Ausgabe mag letztlich noch erscheinen, doch dann müssen Sie bereits gegen diesen negativen Eindruck ankämpfen, weil das System Unsicherheit statt Souveränität signalisiert hat.

Tokenbasiertes Verhalten verschärft dieses Problem auf eine Weise, mit der herkömmliche Anwendungen nie umgehen mussten. Der Prompt kann mit der Zeit immer länger werden, weil alle ständig „nur für den Fall“ weiteren Kontext hinzufügen. Auch der Umfang der Ausgabe kann stark anwachsen, weil Modelle nun einmal dazu neigen, immer weiterzureden, wenn man ihnen keine Grenzen setzt. Selbst wenn die Infrastruktur einwandfrei funktioniert, kann sich die Nutzung dadurch langsam anfühlen – nicht weil das System schlechter geworden ist, sondern weil der Arbeitsaufwand zugenommen hat.

Auswirkungen auf die Verfügbarkeit

Latenz war schon immer ein Zuverlässigkeitsproblem im Gewand eines Performanceproblems. Wenn eine Abhängigkeit langsamer wird, kommt es zu Zeitüberschreitungen. Diese führen zu Wiederholungsversuchen, wodurch die Last steigt. Mit zunehmender Last wird alles noch langsamer – und schon entsteht eine Kaskade, die sich wie ein Ausfall verhält, obwohl technisch gesehen nichts ausgefallen ist.

KI-Systeme sind besonders anfällig dafür, dass Latenzprobleme zu Verfügbarkeitsstörungen führen, da sie mehr bewegliche Teile als ein durchschnittlicher Anwendungs-Stack haben. Dazu gehören der Modell-Endpunkt, das Gateway, die Orchestrierungsschicht, Retrieval-Dienste, Systeme zur Tool-Ausführung und häufig auch eine direkt in die Anfrage eingebundene Richtliniendurchsetzung. Wenn eine dieser Komponenten langsamer reagiert, verschlechtert sich die Nutzererfahrung auf schwer überschaubare und schwer zu diagnostizierende Weise.

Agentische Workflows bringen ein weiteres Fehlermuster mit sich, das wie Unzuverlässigkeit wirkt, obwohl es sich lediglich um Verzögerungen handelt. Agenten führen pro Benutzerinteraktion meist mehrere Aktionen aus, und zwar häufig nacheinander, da der jeweils nächste Schritt vom Ergebnis des vorherigen abhängt. Das bedeutet, dass ein langsamer Tool-Aufruf das System nicht nur verlangsamt, sondern den Fortschritt blockiert. Wenn genügend Sitzungen blockiert sind, bilden sich Warteschlangen, die Parallelverarbeitung bricht ein und Ihr System zeigt zunehmend Symptome, die sich wie ein Ausfall anfühlen – darunter Zeitüberschreitungen, abgebrochene Sitzungen und eine wachsende Flut von Benutzerbeschwerden, die irrational erscheinen, bis Sie sich die Traces ansehen.

Auswirkungen auf die Skalierbarkeit

Die Skalierbarkeit von KI-Systemen wird häufig missverstanden, weil Teams weiterhin in Kategorien des Anfragevolumens denken, obwohl der eigentliche Engpass oft die Bearbeitungszeit pro Anfrage ist. Mit zunehmender Latenz bleibt jede Sitzung länger geöffnet, wodurch Rechenressourcen länger gebunden werden und der effektive Durchsatz sinkt.

KI bringt Schwankungen mit sich, die diesen Effekt noch erheblich verstärken. Manche Anfragen werden schnell bearbeitet. Andere umfassen sehr umfangreiche Prompts, aufwendige Datenabrufe, lange Ausgaben und mehrere Tool-Aufrufe. Wenn Sie Ihr System auf Durchschnittswerte auslegen, werden Ihnen die Ausreißer zum Verhängnis – und bei KI-Systemen sind sie keine vernachlässigbare Größe. Die Latenz dieser Ausreißer prägt das Nutzererlebnis, denn Nutzer erinnern sich nicht an die beste Antwort, die Ihr System je geliefert hat.

Auch die Nebenläufigkeit verhält sich anders. KI-Workloads sind häufig interaktiv und sitzungsorientiert, das heißt, sie verhalten sich nicht wie sauber strukturierter, zustandsloser API-Datenverkehr. Das System muss den Kontext vorhalten, Folgeanfragen verarbeiten und für ein konsistentes Nutzungserlebnis sorgen. Wenn die Latenz allmählich steigt, bearbeiten Sie nicht nur weniger Anfragen pro Sekunde, sondern führen auch weniger Gespräche pro Minute – und dieser Unterschied ist entscheidend, wenn der Wert Ihres Produkts durch seine Reaktionsfähigkeit bestimmt wird.

Auswirkungen auf die betriebliche Effizienz

Latenz belastet den Betrieb auf eine ebenso vorhersehbare wie frustrierende Weise. Die erste Reaktion besteht meist darin, zusätzliche Kapazitäten bereitzustellen, weil dies die schnellste Stellschraube ist und sich am einfachsten rechtfertigen lässt. Die zweite Reaktion besteht meist darin, Caching einzuführen, weil es clever erscheint und durchaus helfen kann. Die dritte Reaktion besteht meist darin, Wiederholungsversuche einzubauen, weil jemand Zuverlässigkeit gewährleisten möchte – und schon hat man unbemerkt ein System geschaffen, das Verzögerungen in eine erhöhte Last verwandelt.

Mit der Zeit führt die Latenz zu einem Betriebsmodell, bei dem Teams mehr Zeit mit der Wartung des Bereitstellungssystems als mit der Entwicklung neuer Funktionen verbringen. KI verschärft dieses Problem, da die Performance durchgängig und domänenübergreifend betrachtet werden muss. Letztlich erfolgt die Fehlersuche über Teams, Anbieter und Dienste hinweg, die nie dafür konzipiert wurden, als eine zusammenhängende Pipeline analysiert zu werden. Jede Untersuchung wird zu einer Bestandsaufnahme von Abhängigkeiten und Zeitspannen, und die Antwort ist selten einfach.

Bewährte Methoden zur Bewältigung von Latenzproblemen

Die erste und wichtigste Best Practice besteht darin, die Bereitstellung von KI als Bereitstellungsaufgabe und nicht als Modellproblem zu betrachten. Wenn Sie nur die Inferenz optimieren, verbessern Sie den Motor, ignorieren dabei aber den Verkehr, die Straßen und die Kreuzungen. Sie müssen den gesamten Weg von der Benutzereingabe bis zur endgültigen Antwort berücksichtigen – einschließlich der Schritte, die vor dem Aufruf des Modells und danach erfolgen.

Routing wird wieder zu einem wichtigen Stellhebel, da KI-Workloads empfindlich auf Entfernungen und die Warteschlangentiefe reagieren. Die räumliche Nähe zwischen Inferenz und Datenabruf ist ebenso entscheidend wie die Wahl des passenden Kapazitätspools für die jeweilige Art von Anfrage. Ein fehlerfrei funktionierender Endpunkt ist nicht immer die beste Wahl, wenn er überlastet oder weit entfernt ist oder mit langsamen nachgelagerten Abhängigkeiten zusammenarbeitet. Bei hoher Systemauslastung kann intelligentes Routing den Unterschied zwischen einer brauchbaren Nutzererfahrung und einem schleichenden Zusammenbruch ausmachen.

Eine adaptive Ressourcenzuweisung ist ebenfalls unerlässlich, da die Nachfrage nach KI-Leistung sprunghaft und unvorhersehbar ist und sich diese Realität nicht allein durch Kapazitätsplanung bewältigen lässt. Das System benötigt Mechanismen, um die Ressourcennutzung unter hoher Belastung zu steuern. Dazu gehören die gezielte Anpassung von Anfragen, eine kontrollierte Leistungsreduzierung, Strategien zur Modellauswahl sowie Begrenzungen dafür, wie viel Orchestrierung eine einzelne Interaktion auslösen kann. Dabei handelt es sich nicht nur um Maßnahmen zur Kostenkontrolle, sondern auch zur Gewährleistung der Stabilität.

Fazit

Latenz war bei der Bereitstellung von Anwendungen schon immer ein grundlegendes Risiko, und ADC06 hat aus gutem Grund darauf hingewiesen. KI macht dieses Risiko lediglich sichtbarer und folgenschwerer, denn Verzögerungen bei der Nutzung von KI vermitteln den Eindruck mangelnder Zuverlässigkeit – und kaum etwas beeinträchtigt die Akzeptanz schneller als Unzuverlässigkeit.

Wenn Sie heute KI-gestützte Anwendungen entwickeln, gehört der Umgang mit Latenzzeiten dazu, dafür zu sorgen, dass das System kompetent wirkt, unter realen Bedingungen verfügbar bleibt, ohne ausufernde Kosten skaliert und Ihre Betriebsteams nicht ständig mit forensischer Fehlersuche beschäftigt sind. Die alten Regeln gelten nach wie vor, doch die Folgen sind gravierender, weil Nutzer die Reaktionszeit der KI als Indikator dafür betrachten, ob sie darauf vertrauen können, dass das System überhaupt funktioniert.

Erfahren Sie mehr über die 10 größten Herausforderungen bei der Anwendungsbereitstellung für Unternehmen weltweit.

Über den Autor

Lori Mac VittieDistinguished Engineer und Chief Evangelist | F5

Lori MacVittie ist Distinguished Engineer und Chief Evangelist im Office of the CTO von F5 und verfügt über umfassende Expertise in den Bereichen Anwendungsbereitstellung, Automatisierungsstrategie und Infrastruktur. Sie ist dafür bekannt, Komplexität verständlich zu machen – ob sie Leitplanken für KI-Agenten definiert, fragile Multicloud-Architekturen analysiert oder die Grenzen skalierbarer Systeme auslotet. Sie verfügt über mehr als dreißig Jahre Branchenerfahrung in der Anwendungsentwicklung, IT-Architektur sowie im Netzwerk- und Systembetrieb. Bevor sie zu F5 kam, war sie als mehrfach ausgezeichnete Technologie-Redakteurin tätig. MacVittie hat einen Masterabschluss in Informatik und ist eine produktive Autorin, deren Veröffentlichungen die Bereiche Sicherheit, Cloud und Unternehmensarchitektur abdecken. Außerdem spielt sie leidenschaftlich gern Brett- und Videospiele und vertritt mit voller Überzeugung klare Ansichten zum Thema Käse.

Weitere Blogbeiträge von Lori Mac Vittie