Die versteckten Kosten einer unverwalteten KI-Infrastruktur

Scott CalvetDirector Product Marketing | F5

Teams für KI-Infrastruktur tätigen eine der größten Technologieinvestitionen in der Geschichte ihres Unternehmens. Einige betreiben bereits GPU-Cluster in der Produktion. Andere bereiten deren Inbetriebnahme noch vor. In beiden Fällen besteht dieselbe Herausforderung: Sobald die KI-Infrastruktur bereitgestellt ist, führen Instabilität, Ineffizienz und eine unzureichende Datenverkehrssteuerung schnell zu Wertverlusten und betrieblichen Risiken.

Wenn etwas schiefläuft, sind die Auswirkungen sofort spürbar. Dienste werden langsamer. Die Kapazität sinkt. Teams versuchen unter Hochdruck, Systeme wiederherzustellen, die kurz zuvor noch funktioniert haben. Selbst Umgebungen, die noch nicht vollständig ausgelastet sind, sind gefährdet. Anfängliche Instabilität, Fehlkonfigurationen oder eine ungleichmäßige Datenverkehrsverteilung können das Vertrauen in Plattformen untergraben, die künftiges Wachstum unterstützen sollen.

Mit der Überführung von KI-Plattformen in den Produktivbetrieb stellen viele Unternehmen fest, dass eine stärkere Auslastung der GPUs nicht immer die richtige Lösung ist. Unkontrollierter Datenverkehr, ungleichmäßige Lastverteilung und plötzliche Nachfragespitzen können GPUs bei steigender Auslastung in instabile Betriebszustände versetzen. Die Wiederherstellung erfolgt nur selten sofort. Kapazitäten können über längere Zeiträume nicht verfügbar sein, und wiederholte Belastungen erhöhen mit der Zeit das Betriebsrisiko.

Wenn sich die Investitionen in GPUs auf mehrere zehn Millionen Dollar belaufen, sind solche Vorfälle nicht nur technische Unannehmlichkeiten. Sie werden zu geschäftlichen Problemen.

Deshalb drehen sich Gespräche über KI-Effizienz häufig um Tokens.

Einfach ausgedrückt ist ein Token eine Texteinheit, die von einem KI-Modell verarbeitet oder erzeugt wird. Tokens können Wortteile, ganze Wörter oder Satzzeichen darstellen. Wenn ein Nutzer einen Prompt eingibt und ein KI-System eine Antwort generiert, erzeugt es ein Token nach dem anderen. Die Anzahl der im Laufe der Zeit generierten Tokens ist ein direktes Maß dafür, wie viel nutzbare Leistung eine KI-Plattform erbringt.

Tokens sind wichtig, weil sie die Leistung der Infrastruktur mit konkreten Ergebnissen verknüpfen. Mehr Tokens pro Sekunde bedeuten, dass mit derselben zugrunde liegenden GPU-Investition mehr Nutzer bedient, schnellere Antworten bereitgestellt und höhere Umsatzpotenziale erschlossen werden können. Deshalb haben sich Tokens auf Führungsebene als gängige Kennzahl für die KI-Effizienz etabliert.

Doch Tokens sind nicht die Ursache. Sie sind das Ergebnis.

Tokens hängen vom Zustand der Infrastruktur ab

Inferenzdatenverkehr verhält sich grundlegend anders als herkömmlicher Anwendungsdatenverkehr. Anfragen sind langlebig, treten schubweise auf und unterscheiden sich stark darin, wie viel GPU-Zeit sie beanspruchen. Wenn der Datenverkehr theoretisch gleichmäßig, in der Praxis jedoch ungleichmäßig verteilt wird, wechseln GPUs zwischen Leerlauf und Überlastung.

Bei anhaltender Last verstärken sich diese Ungleichgewichte. Warteschlangen werden länger. Die Latenz steigt sprunghaft an. Wiederholungsversuche erhöhen den Druck, anstatt ihn zu mindern. In Produktionsumgebungen lassen sich solche Zustände nur selten durch einen einfachen Neustart eines Prozesses beheben. Das Zurücksetzen von GPUs erfordert häufig das erneute Laden von Treibern, die Neuinitialisierung der Fabric, die Synchronisierung mit dem Scheduler und das Aufwärmen der Anwendung. Währenddessen steht die Inferenzkapazität praktisch nicht zur Verfügung.

In realen Umgebungen bemisst sich dieses Wiederherstellungsfenster nicht in Sekunden, sondern in einer betrieblich relevanten Zeitspanne. Selbst ein teilweiser Kapazitätsverlust innerhalb eines Clusters kann die Verfügbarkeit des Dienstes über längere Zeit beeinträchtigen, insbesondere wenn Workloads neu verteilt und erneut hochgefahren werden müssen.

Für viele Teams ist die entscheidende Erkenntnis, dass der Token-Durchsatz vom Verhalten der Infrastruktur abhängt. Stabilität und Datenverkehrssteuerung entscheiden darüber, ob GPUs ihre Zeit damit verbringen, Mehrwert zu schaffen oder sich von einer Überlastung zu erholen.

Dauerhaft hohe Inferenzleistung ist eine Frage der Infrastruktur

Eine der deutlichsten Erkenntnisse aus dem praktischen Einsatz von KI ist, dass Spitzenwerte in Benchmarks die Leistung im Produktivbetrieb nur unzureichend vorhersagen. Entscheidend ist vielmehr ein dauerhaft stabiles und vorhersehbares Verhalten unter realen Lastbedingungen.

Der Erfolg oder Misserfolg von Inferenzplattformen im Produktivbetrieb hängt davon ab, ob sie in der Lage sind:

• Ungleichmäßige und sprunghafte Nachfrage bewältigen, ohne Hotspots zu erzeugen
• Sorgen Sie auch bei schwankendem Datenverkehrsaufkommen für gleichbleibende Latenzzeiten
• Stunde für Stunde einen konstanten Durchsatz liefern, nicht nur bei kurzen Benchmark-Läufen

In kontrollierten Leistungstests zeigte sich, wie F5 BIG-IP Next for Kubernetes, ausgeführt auf und beschleunigt durch NVIDIA BlueField 3 DPUs, durch das Verhalten der Infrastruktur die Effizienz der Inferenz direkt beeinflusst wird. Indem die Plattform Verkehrsentscheidungen anhand von Echtzeit-Telemetriedaten zu CPU, GPU, Host und Netzwerk traf, erzielte sie messbare Verbesserungen gegenüber herkömmlichen Datenebenenansätzen.

Die DPU verstärkt diese Leistungssteigerungen, doch die zugrunde liegenden Vorteile des Datenverkehrsmanagements kommen in vielen verschiedenen KI-Inferenzumgebungen zum Tragen.

In diesen Tests erzielten KI-Inferenz-Workloads einen um bis zu 47 % höheren Token-Durchsatz, eine um bis zu 86 % kürzere Zeit bis zum ersten Token und eine um bis zu 45 % geringere End-to-End-Latenz.

Diese Verbesserungen wurden erzielt, ohne die Modelle oder die GPU-Hardware zu ändern. Sie waren das Ergebnis einer optimierten Verteilung und Steuerung des Datenverkehrs innerhalb der Infrastruktur, wodurch die GPUs unter Last gleichmäßiger arbeiten konnten.

In der Praxis führen diese Verbesserungen dazu, dass weniger Anfragen ins Stocken geraten, weniger Wiederholungsversuche die Last zusätzlich erhöhen und mehr Zeit für produktive Inferenzarbeit zur Verfügung steht, anstatt für die Wiederherstellung nach Instabilitäten aufgewendet zu werden.

Diese Ergebnisse sind dokumentiert in den validierten Leistungstests von F5 für KI-Inferenz im großen Maßstab. Bei den Tests wurde realer Inferenzdatenverkehr unter Dauerlast untersucht. Dabei wurden der Token-Durchsatz, die Zeit bis zum ersten Token und die End-to-End-Latenz bei verschiedenen Implementierungen der Datenebene gemessen. Die Ergebnisse unterstreichen einen entscheidenden Punkt: Das Verhalten der Infrastruktur spielt für die dauerhafte KI-Leistung eine entscheidende Rolle – nicht nur für Spitzenwerte in Benchmarks.

Die Schlussfolgerung ist eindeutig: Intelligentes Traffic-Management erhöht den dauerhaft erzielbaren Token-Durchsatz, indem es Instabilität verhindert, anstatt erst im Nachhinein darauf zu reagieren. Für Unternehmen, die KI in großem Maßstab betreiben, bedeutet dies unmittelbar weniger Ausfallzeiten, eine längere Lebensdauer der GPUs und einen Infrastrukturwert in Millionenhöhe, der andernfalls durch Ineffizienz und Wiederherstellungsmaßnahmen verloren ginge.

Wie intelligentes Traffic-Management das Verhalten von GPUs verändert

Viele KI-Plattformen setzen bei der Verteilung des Inferenzdatenverkehrs noch immer auf statische Regeln oder einfache Round-Robin-Verfahren. Diese Methoden gehen davon aus, dass sich alle Anfragen ähnlich verhalten und alle GPUs unter Last gleich reagieren. Bei zunehmender Skalierung erweist sich diese Annahme jedoch schnell als falsch.

Einige Inferenzanfragen werden schnell abgeschlossen. Andere beanspruchen über längere Zeit GPU-Ressourcen. Wird der Datenverkehr verteilt, ohne die aktuellen Systembedingungen zu berücksichtigen, wird ein Teil der GPUs überlastet, während andere nicht ausgelastet sind. Dieses Ungleichgewicht ist eine der häufigsten Ursachen für Instabilität in produktiven KI-Umgebungen.

F5 BIG-IP Next for Kubernetes begegnet dieser Herausforderung, indem es Datenverkehrsentscheidungen auf der Grundlage von Live-Telemetriedaten statt statischer Annahmen trifft. Es wertet kontinuierlich CPU-, GPU-, Host- und Netzwerksignale aus, um zu erkennen, wo Kapazitäten verfügbar sind und wo die Belastung zunimmt. Bei der Bereitstellung auf NVIDIA BlueField-DPUs wird diese Logik direkt im Datenverkehr ausgeführt. Dadurch werden Netzwerk- und Sicherheitsverarbeitungsaufgaben von den Host-CPUs ausgelagert und die Konkurrenz um gemeinsam genutzte Ressourcen reduziert.

Das Ergebnis sind nicht nur schnellere Reaktionen im jeweiligen Moment, sondern auch ein langfristig stabileres Verhalten. GPUs verbringen mehr Zeit mit produktiver Arbeit und weniger Zeit damit, sich von Überlastungen zu erholen. Diese Beständigkeit ermöglicht einen höheren dauerhaft erzielbaren Token-Durchsatz, ohne die Hardware in instabile Betriebsbereiche zu treiben.

GPU-Investitionen durch Stabilität schützen

Für Infrastruktur- und Plattformteams ist Kontrolle einer der überzeugendsten Vorteile eines intelligenten Traffic-Managements. Die Vermeidung von Überlastungen verringert die Wahrscheinlichkeit langwieriger Wiederherstellungsmaßnahmen und reduziert den betrieblichen Aufwand bei der Reaktion auf Vorfälle.

Noch wichtiger ist, dass Stabilität die Kapitalinvestitionen schützt. Moderne KI-Cluster verfügen häufig über bereitgestellte GPU-Kapazitäten im Wert von mehreren Millionen Dollar. Selbst geringfügige Ineffizienzen oder wiederkehrende Wiederherstellungsvorgänge können sich schnell summieren, wenn sie bei Dutzenden oder Hunderten von GPUs auftreten, die kontinuierlich in Betrieb sind.

Intelligentes Traffic-Management hilft dabei, mehrere Ursachen für die Belastung der Infrastruktur und deren nachgelagerte geschäftliche Auswirkungen anzugehen:

• Ungleichmäßige Datenverkehrsverteilung, die zu GPU-Hotspots und Überlastungen führt
• Sättigungsereignisse, die Wiederherstellungszyklen auslösen und Inferenzkapazitäten außer Betrieb setzen
• Verlorene Verfügbarkeit, die sich auf die Benutzererfahrung und die Einhaltung von Servicezusagen auswirkt
• Erhöhter Betriebsaufwand, da Teams für die Wiederherstellung und Störungsbehebung eingesetzt werden
• Beschleunigte Verschlechterung der Zuverlässigkeit und Vorhersagbarkeit von GPUs im Laufe der Zeit

Die meisten großen Betreiber planen bereits mehrjährige Abschreibungszyklen – nicht, weil GPUs sofort ausfallen, sondern weil eine dauerhafte Belastung ihre nutzbare Lebensdauer verkürzt. Werden solche Bedingungen vermieden, verbessern sich sowohl die Verfügbarkeit als auch die langfristige Rendite der GPU-Investitionen.

Dieselbe validierte Leistungsprüfung verdeutlicht diesen umfassenderen Wandel. Statt auf kurzzeitige Spitzenleistung zu optimieren, rückt eine dauerhaft hohe Effizienz unter Last in den Mittelpunkt. Durch die Glättung des Datenverkehrs und die Vermeidung von Überlastung können Plattformen die Token-Ausgabe steigern und zugleich langfristig eine vorhersehbare Leistung gewährleisten.

Robuste KI-Plattformen für den Produktivbetrieb entwickeln

Da KI zunehmend zu einer grundlegenden Infrastruktur wird, ähneln die Erfolgskriterien immer mehr denen anderer geschäftskritischer Systeme. Zuverlässigkeit, Vorhersagbarkeit und Kostenkontrolle sind ebenso wichtig wie die reine Leistung.

BIG-IP Next for Kubernetes betrachtet KI-Inferenz als systemübergreifende Herausforderung. Netzwerkfunktionen, Lastverteilung und Sicherheit sind in einer einheitlichen Datenebene integriert, die sich in Echtzeit an die jeweiligen Bedingungen anpasst. So können Inferenzplattformen bei steigender Nachfrage skalieren, ohne an Stabilität einzubüßen.

Token bleiben eine wichtige Kennzahl. Sie sind das sichtbare Ergebnis eines gut funktionierenden Systems, nicht der Ausgangspunkt. Der entscheidende Hebel liegt in der intelligenten Steuerung des Datenverkehrs, damit Leistungssteigerungen nicht zulasten der Verfügbarkeit oder der Lebensdauer der Hardware gehen.

Für KI-Plattformteams, die produktionsreife Systeme entwickeln, ist eine dauerhaft hohe Leistung letztlich der entscheidende Erfolgsfaktor. Ein intelligentes Traffic-Management schafft dafür die Voraussetzungen, indem es dafür sorgt, dass GPUs langfristig stabil, verfügbar und produktiv bleiben.

Weitere Informationen finden Sie in unserem Whitepaper „Validierte Leistung für KI-Inferenz im großen Maßstab mit F5 BIG-IP Next for Kubernetes“.

Über den Autor

Scott CalvetDirector Product Marketing | F5

Weitere Blogbeiträge von Scott Calvet