Die Branche tritt in eine neue Phase der KI-Infrastruktur ein.
Die erste Welle der generativen KI konzentrierte sich auf die Entwicklung und das Training von Modellen. In der nächsten Phase geht es darum, KI in großem Maßstab zu betreiben. Unternehmen, Hyperscaler und eine neue Generation von Neocloud-Anbietern bauen das auf, was wir als „KI-Fabriken“ bezeichnen. Diese Umgebungen sind darauf ausgelegt, Tokens so effizient, zuverlässig und sicher wie möglich zu generieren.
In diesen Umgebungen zählen jede Millisekunde Latenz und jeder Prozentpunkt GPU-Auslastung.
In den Tests der Tolly Group erzielte F5 BIG-IP Next for Kubernetes auf NVIDIA BlueField-DPUs im Vergleich zu herkömmlichen Load-Balancing-Lösungen einen um bis zu 40 % höheren Token-Durchsatz, eine um 61 % kürzere Zeit bis zum ersten Token und eine um 34 % geringere Anfragelatenz.
GPUs gehören zu den teuersten Komponenten in modernen Rechenzentren. Wenn Anfragen ineffizient weitergeleitet werden oder GPUs nicht ausgelastet sind, lassen Unternehmen Rechenkapazität ungenutzt und verschwenden damit bares Geld.
Dennoch setzen viele KI-Implementierungen nach wie vor auf herkömmliches Round-Robin-Load-Balancing, bei dem Anfragen verteilt werden, ohne den aktuellen Zustand der GPU-Infrastruktur zu berücksichtigen. Dieser Ansatz hat bei klassischen Webanwendungen gut funktioniert. Für KI-Inferenz ist er jedoch nicht ausreichend.
Die Bedeutung einer GPU-bewussten Infrastruktur
KI-Inferenzumgebungen unterscheiden sich grundlegend von herkömmlichen Anwendungsarchitekturen.
Inferenzcluster bestehen aus Pools von GPUs, auf denen große Sprachmodelle und andere KI-Workloads ausgeführt werden. Zu jedem beliebigen Zeitpunkt kann jede GPU abhängig von Faktoren wie Warteschlangentiefe, Modellausführungszeit, Länge der Token-Generierung und Speicherauslastung sehr unterschiedliche Workloads verarbeiten.
Wenn der Datenverkehr ohne Berücksichtigung der Auslastung verteilt wird, können Anfragen leicht an bereits ausgelastete GPUs weitergeleitet werden, während andere Beschleuniger nicht voll genutzt werden. Dies führt zu längeren Antwortzeiten und einer ineffizienten Nutzung der Infrastruktur.
Deshalb muss KI-Infrastruktur die jeweiligen Workloads berücksichtigen.
Wir bei F5 sind überzeugt, dass sich die Infrastrukturebene weiterentwickeln muss, damit sie KI-Inferenzanfragen auf Grundlage der aktuellen Bedingungen in der Umgebung intelligent verteilen kann.
Unabhängige Validierung durch die Tolly Group
Um die Auswirkungen des GPU-bewussten Lastausgleichs besser zu verstehen, beauftragten wir The Tolly Group, ein unabhängiges Unternehmen für Technologievalidierung, damit, unseren Ansatz im Vergleich zu herkömmlichen Lastausgleichslösungen zu bewerten.
Die Ergebnisse waren überzeugend. In den Tests von The Tolly Group erzielte F5 BIG-IP Next for Kubernetes auf NVIDIA BlueField DPUs bis zu:
- 40 % höherer Token-Durchsatz
- 61 % kürzere Zeit bis zum ersten Token
- 34 % geringere Anfragelatenz
Diese Verbesserungen wurden im Vergleich zu weit verbreiteten Open-Source-Load-Balancing-Lösungen gemessen.
Eine interessante Beobachtung aus den Tests war, dass die Vorteile bei kleineren Modellen noch deutlicher zutage traten, da sich eine effiziente Verteilung des Datenverkehrs hier noch stärker auf die Systemleistung auswirken kann.
Auslagerung der Infrastrukturverarbeitung auf DPUs
Ein weiterer wichtiger Aspekt dieser Architektur ist die Auslagerung der Infrastrukturverarbeitung.
In vielen heutigen Bereitstellungen werden Funktionen zur Datenverkehrssteuerung zusammen mit KI-Workloads direkt auf der Server-CPU ausgeführt. Dadurch werden wertvolle CPU-Ressourcen für Infrastrukturaufgaben statt für Anwendungs-Workloads beansprucht.
Durch die Ausführung von F5 BIG-IP Next for Kubernetes auf NVIDIA BlueField-DPUs können Traffic-Management-Funktionen von der Server-CPU auf die DPU ausgelagert werden.
Bei den Tests der Tolly Group war der Unterschied erheblich. BIG-IP Next for Kubernetes benötigte auf Nvidia BlueField-DPUs etwa 2 CPU-Kerne, während für den herkömmlichen CPU-basierten Lastausgleich rund 12 Kerne erforderlich waren.
Das entspricht einer um etwa 80 Prozent geringeren CPU-Auslastung, sodass diese CPU-Ressourcen für andere Workloads verfügbar bleiben.
Die Zukunft der KI-Infrastruktur
Mit der Skalierung von KI-Fabriken wird die Effizienz der Infrastruktur zu einem der wichtigsten Faktoren für den Erfolg von KI-Implementierungen.
Unternehmen müssen die GPU-Auslastung maximieren, die Latenz minimieren, den Token-Durchsatz verbessern sowie die Sicherheit und Isolierung der Infrastruktur gewährleisten. Um diese Ziele zu erreichen, ist eine Infrastruktur erforderlich, die die Dynamik von KI-Workloads versteht. GPU-bewusste Lastverteilung und DPU-beschleunigte Infrastruktur sind wichtige Schritte auf dem Weg in diese Zukunft.
Wir bei F5 sind überzeugt, dass intelligente Infrastruktur eine zentrale Rolle dabei spielen wird, die nächste Generation von KI-Fabriken zu ermöglichen. Die von der Tolly Group validierten Ergebnisse sind ein vielversprechender Schritt in diese Richtung. Den vollständigen Bericht erhalten Sie hier.
Besuchen Sie außerdem unbedingt die Webseite zu F5 BIG-IP Next for Kubernetes.
Über den Autor
Ähnliche Blogbeiträge
Kubernetes-native WAF für das Gateway-Zeitalter: F5 WAF for NGINX lässt sich jetzt in F5 NGINX Gateway Fabric integrieren
F5 erweitert WAFs, um mit F5 NGINX Gateway Fabric und F5 NGINX Ingress Controller einen konsistenten, skalierbaren Schutz über Cluster und Umgebungen hinweg bereitzustellen.
Von Regeln zu Risiken: Die Entwicklung von WAFs und der Aufstieg KI-gestützter Ergebnisse
WAF-Programme geraten oft an einem bekannten Punkt ins Stocken: Der Blockierungsmodus wird verzögert aktiviert, weil die Feinabstimmung aufwendig ist.
Erklärbarkeit: Licht ins Dunkel der KI-Blackbox bringen
Einblicke von James White, CTO bei CalypsoAI: Dank GenAI verstehen wir inzwischen gut, wie Antworten generiert und an uns zurückgegeben werden. Vereinfacht gesagt basiert KI auf einer Transformer-Architektur – sie wählt die beste Vorhersage für das nächste Wort und den nächsten Satz aus und liefert anhand der ihr vorliegenden Informationen die wahrscheinlichste Antwort […]
Die neue KI-Risikolandschaft: unsichtbar, autonom und bereits im Unternehmen
James White, VP Engineering, F5 Zur Jahresmitte 2025 ist es an der Zeit, eine Momentaufnahme der KI-Nutzung in Unternehmen und des aktuellen Stands der KI-Sicherheit zu erstellen. Der Einsatz generativer KI ist in Unternehmen mittlerweile Standard Unternehmen verfügen inzwischen durchweg zumindest über ein grundlegendes Verständnis von generativer KI. Sie wissen, was sie ist und wo sie […]
Die KI-Grenzen sichern: Strategien zur Bekämpfung von Datenexfiltration
Da Unternehmen zunehmend Modelle der generativen KI (GenAI) und große Sprachmodelle (LLMs) in ihre digitalen Systeme integrieren, sind sie mit neuen und erhöhten Risiken konfrontiert. Wenig überraschend stehen dabei Risiken im Zusammenhang mit Datenexfiltration – der unbefugten Übertragung von Daten aus einem Unternehmen an ein externes Ziel – meist ganz oben auf der Prioritätenliste der Sicherheitsteams. Ein Verständnis […]
Everest Group-Bericht: Aktuelle Trends und Zukunftsaussichten bei der Einführung von GenAI in der Industrie
Wir freuen uns, einen wesentlichen Beitrag zu einem wegweisenden neuen Bericht der Everest Group, einem weltweit führenden Forschungsunternehmen, geleistet zu haben. Der Bericht mit dem Titel „Generative AI Adoption – Examining Real-world Use in Horizontal Functions and Future Outlook“ bietet eine eingehende Analyse der Einführung generativer KI (GenAI) in verschiedenen Branchen. Dem Bericht zufolge ist die IT […]