KI-App-Bereitstellung – Top 10: Nicht optimierte Datenverkehrssteuerung

Lori Mac VittieDistinguished Engineer und Chief Evangelist | F5

Die Datenverkehrssteuerung bestimmt, wohin Anfragen geleitet werden, wie sie das System durchlaufen und welche Ressourcen welche Workloads verarbeiten. Bei der herkömmlichen Anwendungsbereitstellung sorgt sie für eine effiziente Nutzung der Infrastruktur und eine reibungslose Verteilung auf Server, Dienste und Regionen. KI bringt jedoch neue Arten von Datenverkehr, neue Abhängigkeitsketten und neue Anforderungen an die Rechenleistung mit sich. Ohne moderne Steuerungsstrategien, die Modellgröße, verfügbare Rechenkapazität, Agentenverhalten und Datenlokalität berücksichtigen, drohen Unternehmen vermeidbare Verzögerungen, höhere Kosten und eine zunehmende Anfälligkeit ihres gesamten Bereitstellungs-Stacks.

Herkömmliche Verfahren zur Datenverkehrssteuerung gehen von vorhersehbaren Workloads und relativ einheitlichen Serverkapazitäten aus. Dabei wird vorausgesetzt, dass jede Backend-Instanz jede gültige Anfrage verarbeiten kann. In KI-Systemen ist diese Annahme jedoch nicht haltbar, da sich die Ressourcen hinsichtlich Leistungsfähigkeit, Kosten und Verfügbarkeit erheblich unterscheiden. Ohne eine optimierte Steuerung entstehen überlastete Pfade, ungenutzte Kapazitäten und Engpässe, die die Leistung des gesamten Systems beeinträchtigen.

Der Wandel durch KI

KI-Workloads sind nicht beliebig austauschbar. Ein Modell, das auf einem bestimmten GPU-Typ ausgeführt wird, verhält sich auf einem anderen möglicherweise nicht gleich oder lässt sich dort überhaupt nicht ausführen. Die Latenz variiert je nach Batchgröße, Token-Durchsatz, Modellvariante und Komplexität des Prompts. Agenten verknüpfen mehrere Tools und Dienste miteinander, sodass der Datenverkehr abhängig vom Kontext und den Schlussfolgerungspfaden unterschiedliche Ebenen des Stacks durchläuft.

Die Steuerung wird komplexer, da bei Entscheidungen Folgendes berücksichtigt werden muss:

• modellspezifische Hardwareanforderungen
• variable Inferenzkosten
• regionale Datenbeschränkungen
• Datenanziehungskraft rund um Embeddings und Vektorspeicher
• das unvorhersehbare Auffächerungsverhalten von Agenten

In KI-Systemen ist das optimale Backend nicht einfach „das mit der geringsten Auslastung“. Es ist „dasjenige, das diese spezifische Art von KI-Aufgabe korrekt, rechtskonform und effizient ausführen kann“. Herkömmliche Steuerungsmechanismen können diese Unterscheidungen nicht treffen.

Die Auswirkungen auf die Leistung

Eine unzureichende Anfragesteuerung beeinträchtigt die Leistung in mehrfacher Hinsicht. Datenverkehr kann an Backends mit unzureichender GPU-Kapazität weitergeleitet werden, was die Token-Generierung verlangsamt und die Latenz erhöht. Anfragen werden möglicherweise unnötig über Regionen oder Datenschichten hinweg übertragen, weil bei der Steuerung die Datenlokalität nicht berücksichtigt wird, was zu längeren Antwortzeiten führt.

Wenn die Datenverkehrssteuerung den Workload-Typ nicht berücksichtigt, erzeugen Agenten Datenverkehr, der auf der falschen Modellstufe landet. So kommen etwa überdimensionierte Modelle für einfache Aufgaben und unterdimensionierte Modelle für komplexe Aufgaben zum Einsatz. Dies führt zu Ineffizienz und einem geringeren Durchsatz. Da immer mehr KI-Dienste horizontal skaliert werden, wird eine inkonsistente Datenverkehrssteuerung zu einer direkten Ursache für schwankende Latenzen und Verarbeitungsengpässe.

Die Auswirkungen auf die Verfügbarkeit

KI-Workloads bringen Systeme an ihre Belastungsgrenzen. Eine nicht optimierte Steuerung kann zu plötzlichen Überlastungen einzelner GPU-Knoten oder Inferenzcluster führen und dadurch Drosselungen, Kaltstarts oder vollständige Ausfälle auslösen. Da Agenten bei langsamen Endpunkten häufig neue Versuche starten oder eskalieren, vervielfacht eine mangelhafte Steuerung indirekt den Datenverkehr und verschärft so Verfügbarkeitsprobleme.

Eine Steuerung, die regionale Kapazitäten oder Vorgaben zur Datenresidenz nicht berücksichtigt, kann Anfragen unbeabsichtigt durch Bereiche mit begrenzten Ressourcen leiten und dadurch lokale Ausfälle verursachen. Wenn die Steuerung keine auf KI-Metriken wie Modellzustand, GPU-Auslastung oder eine sinkende Tokenrate pro Sekunde abgestimmten Zustandsprüfungen einbezieht, wird der Datenverkehr weiterhin an fehlerhafte Backends geleitet, lange nachdem diese aus der Rotation hätten genommen werden müssen.

Die Auswirkungen auf die Zuverlässigkeit

KI-Workloads sind für konsistente Ergebnisse auf ein stabiles, vorhersehbares Routing angewiesen. Wenn die Steuerung inkonsistent ist oder die Art des Workloads nicht berücksichtigt, verhält sich das System unvorhersehbar. Zwei identische Anfragen können an unterschiedliche Modellvarianten mit verschiedenen Leistungsmerkmalen weitergeleitet werden, was zu schwankenden Latenzzeiten und Abweichungen bei den Antworten führt.

Bei agentenbasierten Workflows kann eine unzuverlässige Steuerung Ketten voneinander abhängiger Aktionen unterbrechen. Wird ein Segment an ein langsames oder überlastetes Backend weitergeleitet, wirken sich Wiederholungsversuche und Neuplanungen auf die gesamte Pipeline aus und erhöhen die Risiken für nachgelagerte Prozesse. Eine nicht optimierte Steuerung erschwert zudem die Fehlerbehebung, da sich Fehler schwerer reproduzieren und diagnostizieren lassen, wenn der Datenverkehr uneinheitlich verteilt wird.

Best Practices zur Vermeidung einer nicht optimierten Datenverkehrssteuerung

Wirksame Maßnahmen zur Optimierung der Datenverkehrssteuerung im KI-Zeitalter beruhen auf zwei Dingen: der Segmentierung des Datenverkehrs, damit sich Workloads nicht gegenseitig beeinträchtigen und dem Einsatz einer programmierbaren Steuerungslogik, die sich in Echtzeit anpassen kann – an unvorhersehbare Veränderungen bei der Modellauslastung, dem Agentenverhalten und der Datenlokalität.

Beginnen Sie mit der Segmentierung des Datenverkehrs. Trennen Sie interaktive Anfragen, Batch-Aufträge, von Agenten erzeugte Datenströme und rechenintensive Inferenzaufgaben voneinander und leiten Sie sie über separate Routing-Pfade. Unterschiedliche Workloads stellen unterschiedliche Leistungsanforderungen. Latenzempfindliche Aufgaben benötigen beispielsweise schnelle, wenig ausgelastete Backends, während umfangreiche oder explorative Agenten-Workflows mit einer niedrigeren Priorität oder einer verzögerten Verarbeitung auskommen. Durch die Segmentierung werden unregelmäßige oder stark schwankende KI-Datenströme isoliert, sodass sie weder benutzerseitige Pfade noch gemeinsam genutzte Dienste überlasten können.

Führen Sie als Nächstes programmierbare Regeln für die Datenverkehrssteuerung ein. Statische Steuerungsstrategien versagen unter KI-Last, da sie von einheitlichen Backends und vorhersehbaren Anfrageformaten ausgehen. Durch Programmierbarkeit kann die Bereitstellungsschicht den Datenverkehr anhand von Echtzeitbedingungen weiterleiten: GPU-Auslastung, Token-Durchsatz, Warteschlangentiefe, Modelltyp und sogar Prompt-Länge. Wenn sich der Zustand eines Modells verschlechtert, der Embedding-Speicher einer Region überlastet ist oder eine bestimmte Anfrageklasse ein spezifisches Hardwareprofil benötigt, passt die programmierbare Logik die Weiterleitung sofort an. So bleiben KI-Pipelines reaktionsfähig und kaskadenartige Verlangsamungen werden verhindert.

Richten Sie schließlich die Datenverkehrssteuerung an der Datenlokalität aus. Leiten Sie Inferenz- und Abrufaufgaben an die Regionen oder Rechenressourcen weiter, die den zugehörigen Einbettungen oder strukturierten Daten am nächsten liegen. Dies reduziert die Latenz und vermeidet unnötigen regionsübergreifenden Datenverkehr, insbesondere bei agentenbasierten Workflows, die mehrere Abruf- und Inferenzschritte miteinander verknüpfen.

Diese Abhilfemaßnahmen sind wirksam, weil sie begrenztes Verhalten (durch Segmentierung und Ratenbegrenzungen) mit adaptiver Intelligenz (durch Programmierbarkeit) kombinieren. KI-Workloads verhalten sich nicht vorhersehbar; eine programmierbare Datenverkehrssteuerung stellt sicher, dass die Stabilität der Umgebung nicht von vorhersehbarem Verhalten abhängt.

Fazit

KI hat den Datenverkehr von etwas weitgehend Vorhersehbarem in etwas Dynamisches, Variables und häufig Selbstverstärkendes verwandelt. Herkömmliche Ansätze zur Datenverkehrssteuerung, die auf statischen Richtlinien und einheitlichen Backends basieren, können mit Workloads nicht Schritt halten, die sich während der Ausführung verändern, mehrere Ressourcentypen umfassen und auf das Echtzeitverhalten von Modellen reagieren. Eine nicht optimierte Datenverkehrssteuerung verlangsamt Systeme nicht nur, sondern beeinträchtigt unbemerkt die Leistung, Verfügbarkeit und Zuverlässigkeit des gesamten Stacks.

Mit der richtigen Strategie zur Datenverkehrssteuerung können Unternehmen die Stabilität aufrechterhalten, selbst wenn KI-Workloads komplexer werden und für das Anwendungsverhalten eine immer zentralere Rolle spielen. Eine optimierte Datenverkehrssteuerung wird zum zentralen Kontrollpunkt, der die Leistung auch unter hoher Belastung sicherstellt, die Verfügbarkeit bei Lastspitzen aufrechterhält und ein zuverlässiges Verhalten in einer Welt gewährleistet, in der KI nicht mehr den Regeln des herkömmlichen Datenverkehrs folgt.

Erfahren Sie mehr über die 10 größten Herausforderungen bei der Anwendungsbereitstellung für Unternehmen weltweit.

Über den Autor

Lori Mac VittieDistinguished Engineer und Chief Evangelist | F5

Lori MacVittie ist Distinguished Engineer und Chief Evangelist im Office of the CTO von F5 und verfügt über umfassende Expertise in den Bereichen Anwendungsbereitstellung, Automatisierungsstrategie und Infrastruktur. Sie ist dafür bekannt, Komplexität verständlich zu machen – ob sie Leitplanken für KI-Agenten definiert, fragile Multicloud-Architekturen analysiert oder die Grenzen skalierbarer Systeme auslotet. Sie verfügt über mehr als dreißig Jahre Branchenerfahrung in der Anwendungsentwicklung, IT-Architektur sowie im Netzwerk- und Systembetrieb. Bevor sie zu F5 kam, war sie als mehrfach ausgezeichnete Technologie-Redakteurin tätig. MacVittie hat einen Masterabschluss in Informatik und ist eine produktive Autorin, deren Veröffentlichungen die Bereiche Sicherheit, Cloud und Unternehmensarchitektur abdecken. Außerdem spielt sie leidenschaftlich gern Brett- und Videospiele und vertritt mit voller Überzeugung klare Ansichten zum Thema Käse.

Weitere Blogbeiträge von Lori Mac Vittie