Wenn Cloud-native-Apps ein paar Gartenschläuche wären, dann wären KI-Inferenz- und Agentensysteme eine industrielle Sprinkleranlage, die von einem Kleinkind mit Feuerwehrhelm und Trinkpäckchen gesteuert wird. Sie glauben zu wissen, wohin das Wasser fließt, aber das tun Sie nicht. Wenn Sie es bemerken, ist bereits etwas Teures durchnässt.
Inferenz-Workloads und agentengesteuerte Ausführungen verhalten sich nicht wie herkömmliche Dienste. Sie folgen keinen vorhersehbaren Anfragepfaden, wiederholen Abläufe nicht konsistent und fallen nicht auf geordnete Weise aus. Sie gestalten ihre Laufzeitumgebung selbst, ändern anhand von Teilergebnissen ihren Kurs, versuchen es erneut, wenn sie glauben, dass es sinnvoll ist, und verbrauchen Ressourcen in stark schwankenden Spitzen. Wenn Ihre Observability-Strategie auf Durchschnittswerten, Aggregationen oder Dashboards mit 30-Sekunden-Intervallen basiert, ist das grob fahrlässig.
Auswirkungen auf die Leistung
Die Inferenzlatenz ist keine einzelne Kennzahl und auch nicht an eine bestimmte Ebene gebunden. Sie wird durch die Modellauswahl, die Anzahl der Token, die Auslastung der GPU-Warteschlange, die Zugriffszeit auf vorgelagerte Daten und sämtliche Prompt-Kunststücke beeinflusst, die ein Agent während der Ausführung vollführt. Agenten sorgen für noch mehr Chaos, indem sie Abläufe verzweigen, verketten oder erneut ausführen, ohne ihre Pläne anzukündigen.
Wenn Sie die Performance nicht auf der Ebene der Absicht, der Token-Generierung, des Modellpfads und der Ausführungshistorie nachvollziehen können, werden Sie die falsche Komponente verantwortlich machen, die falsche Ebene optimieren oder die falsche Ressource skalieren. Die Nutzer – ob Menschen oder automatisierte Systeme – werden unterdessen schlicht zu dem Schluss kommen: „KI ist langsam.“
Auswirkungen auf die Verfügbarkeit
Herkömmliche Zustandsprüfungen beantworten lediglich die Frage: „Hat das System reagiert?“ Bei KI-Workloads muss die Frage lauten: „Hat es innerhalb der für diese Aufgabe geltenden Erwartungen reagiert?“
Inferenzsysteme fallen selten komplett aus; stattdessen verschlechtern sie sich schleichend und liefern zwar höfliche, aber unbrauchbare Antworten. Langsame Antworten, veraltete Cache-Treffer oder unauffällige Halluzinationen können allesamt wie Erfolge wirken, wenn Einblicke in den Aufgabentyp, die erwartete Mindestlatenz und die Qualitätsschwellen fehlen. Wenn Agenten immer mehr Entscheidungen aufeinander aufbauen, werden Wiederholungsversuche zu unsichtbaren Schleifen, die wie normaler Datenverkehr aussehen – bis schließlich etwas zusammenbricht.
Der operative Albtraum ist hier nicht der Ausfall, sondern ein fehlerhaftes, unvollständiges oder im jeweiligen Kontext unpassendes Ergebnis, das dennoch als Erfolg gilt.
Auswirkungen auf die Skalierbarkeit
Was nicht sichtbar ist, lässt sich nicht skalieren – und was sich nicht zuordnen lässt, kann erst recht nicht kostenoptimiert werden. Bei der Kapazitätsplanung für KI müssen folgende Aspekte berücksichtigt werden:
- Token-Durchsatz
- Modellparallelität und die Kosten des Modellwechsels
- GPU-Auslastung
- Vervielfachung von Agent-Wiederholungsversuchen
- Kosten pro Anruf
- Ausführungsdauer über verkettete Schritte hinweg
Ohne dieses Maß an Transparenz schwanken Sie zwischen Überprovisionierung (finanzielle Reue) und Unterprovisionierung (Supportanfragen, verärgerte Produktmanager, Krisensitzungen zur Eskalationsbewältigung). Weder das eine noch das andere zeugt von Reife; beides ist ein Zeichen für Defizite bei der Observability.
Bewährte Vorgehensweisen
Bei einer umfassenden Observability für KI geht es nicht darum, mehr Protokolldaten zu sammeln, sondern schneller umfangreichere, am Verhalten ausgerichtete Telemetriedaten zu erfassen, die Aufschluss darüber geben, was die KI zu tun versuchte, was sie tatsächlich tat und welche Ressourcen sie dafür verbrauchte. Dafür ist eine Instrumentierung erforderlich, die nicht nur erklären kann, was geschehen ist, sondern auch warum, unter welchen Annahmen und zu welchen Kosten.
Das bedeutet, die Ausführungshistorie von durch Agenten zusammengestellten Workflows nachzuverfolgen, Kosten und Latenz als zentrale Betriebssignale zu behandeln, das Modellverhalten mit der Absicht statt mit Endpunkten zu korrelieren und von Agenten deklarierte Erwartungen in die Observability-Metadaten aufzunehmen. Metadaten entwickeln sich von „Anfrageinformationen“ zu einem „Laufzeitvertrag“, der Latenzbudgets, Wiederholungspräferenzen, Kennzeichnungen zur Datensensibilität, Prioritätsstufen für Agenten und Kostenobergrenzen auf Aufrufebene umfasst.
Im Zuge dieser Entwicklung wird sich eine Hochgeschwindigkeits-Telemetrieebene etablieren: ein speziell entwickelter Datenstrom mit Latenzen im Submillisekundenbereich, der Signale pro Token, Schritt und Agent erfassen kann, ohne Speichersysteme zu überlasten oder SLOs zu gefährden. Diese Telemetrieebene wird sich voraussichtlich nahe an der Inferenzschicht befinden, semantische Komprimierung unterstützen und kontinuierlich Erkenntnisse mit geringer Latenz zu Kosten, Kapazität, Systemzustand und Übereinstimmung mit der beabsichtigten Zielsetzung liefern. Ohne sie wird die KI-Observability entweder bestehende Pipelines überfordern oder ihre Erkenntnisse werden zu spät eintreffen, um noch von Nutzen zu sein.
Systeme müssen diese Telemetriedaten nahezu in Echtzeit statt im Batchbetrieb erfassen, korrelieren und auswerten. Zudem müssen sie die Daten nutzen, um adaptives Routing, die Drosselung von Agenten, die Auswahl kostengünstigerer Inferenzpfade und die frühzeitige Erkennung außer Kontrolle geratener Workflows zu steuern, bevor diese zu Ausfällen oder hohen Rechnungen führen.
Die Bereitstellung verändert sich, wenn KI mit im Spiel ist
KI fällt weder eindeutig noch vorhersehbar oder unübersehbar aus, und eine lückenhafte Beobachtbarkeit sorgt dafür, dass Sie es erst bemerken, wenn es bereits geschäftliche Auswirkungen hat.
Wenn Intelligenz die neue Anwendungsebene ist, muss sich die Observability von der Frage „Was ist passiert?“ hin zu folgenden Fragen verlagern: „Was sollte passieren, warum haben wir diesen Weg eingeschlagen und war er die Latenz, das Risiko und die Kosten wert?“
Wenn Sie diese Frage in Echtzeit beantworten können, sind Sie bereit für KI.
Erfahren Sie mehr über die 10 größten Herausforderungen bei der Anwendungsbereitstellung für Unternehmen weltweit.
Über den Autor
Lori MacVittie ist Distinguished Engineer und Chief Evangelist im Office of the CTO von F5 und verfügt über umfassende Expertise in den Bereichen Anwendungsbereitstellung, Automatisierungsstrategie und Infrastruktur. Sie ist dafür bekannt, Komplexität verständlich zu machen – ob sie Leitplanken für KI-Agenten definiert, fragile Multicloud-Architekturen analysiert oder die Grenzen skalierbarer Systeme auslotet. Sie verfügt über mehr als dreißig Jahre Branchenerfahrung in der Anwendungsentwicklung, IT-Architektur sowie im Netzwerk- und Systembetrieb. Bevor sie zu F5 kam, war sie als mehrfach ausgezeichnete Technologie-Redakteurin tätig. MacVittie hat einen Masterabschluss in Informatik und ist eine produktive Autorin, deren Veröffentlichungen die Bereiche Sicherheit, Cloud und Unternehmensarchitektur abdecken. Außerdem spielt sie leidenschaftlich gern Brett- und Videospiele und vertritt mit voller Überzeugung klare Ansichten zum Thema Käse.
Weitere Blogbeiträge von Lori Mac VittieÄhnliche Blogbeiträge
Top 10 der KI-Anwendungsbereitstellung: Fehlende Fehlertoleranz und Ausfallsicherheit
KI macht klassische Resilienzdefizite deutlich kostspieliger: Der Ausfall einer einzelnen GPU oder Abhängigkeit kann sich durch synchrone Inferenzketten fortpflanzen, wodurch sich Latenzen summieren und die Qualität der Ausgaben sinkt.
KI-App-Bereitstellung – Top 10: Schwache DNS-Praktiken
Für Inferenz- und agentische Systeme ist die Ausfallsicherheit des DNS entscheidend für Verfügbarkeit und Leistung – eine fehlerhafte Namensauflösung führt zu Fehlleitungen, Latenzspitzen und regionalen Dienstausfällen.
Was sind die Top 10 der Anwendungsbereitstellung?
Mit der Top-10-Liste für die Anwendungsbereitstellung möchte F5 Unternehmen dabei unterstützen, Herausforderungen bei der Bereitstellung und Absicherung von Anwendungen, APIs und generativer KI zu bewältigen.
Verhalten und Grenzen: Der Wandel hin zu agentischer Sicherheit
Agenten erzeugen emergente, unbegrenzte Abfolgen, in denen sich Risiken im Laufe der Zeit summieren. Sicherheit muss sich daher von der Validierung einzelner Anfragen hin zu einer kontinuierlichen Verhaltenssteuerung über mehrstufige, sich weiterentwickelnde Abläufe verlagern.
KI treibt die Entstehung neuer Arten von Datenverkehr voran
Die Einführung von KI bringt neue, eigenständige Arten von Datenverkehr hervor: Inferenzanfragen sowie maschinell erzeugten Automatisierungsverkehr und hochvolumigen Telemetrieverkehr, der Regelkreise mit Daten versorgt.
Von Paketen zu Prompts: Inferenz erweitert den Stack um eine neue Ebene
Inferenz ist kein Training. Sie ist kein Experimentieren. Sie ist keine Data-Science-Übung. Inferenz ist Laufzeitverhalten in der Produktion und verhält sich wie eine Anwendungsschicht.