Auf der NVIDIA GTC und erneut auf der CES hat NVIDIA deutlich gemacht, wohin sich KI in Unternehmen entwickelt: hin zu KI-Fabriken – speziell entwickelten, validierten Infrastruktur- und Software-Stacks, die eine planbare Leistung, niedrigere Kosten und betriebliche Sicherheit für KI-Inferenz und -Training bieten.
NVIDIA Enterprise AI Factory – dieses validierte Design erweckt die Vision zum Leben, indem es NVIDIA Accelerated Computing, Netzwerktechnologie, Software und Orchestrierung in einem validierten Full-Stack-Design vereint, das Unternehmen zuverlässig in ihrer eigenen Infrastruktur bereitstellen können. Im Rahmen dieser Architektur baut NVIDIA sein Ökosystem aus validierten Partnern weiter aus, die reale Herausforderungen im Produktivbetrieb in der gesamten KI-Infrastruktur lösen.
Wir freuen uns, heute bekannt geben zu können, dass F5 BIG-IP Next for Kubernetes für den Betrieb auf NVIDIA RTX PRO-Servern mit NVIDIA BlueField-3-DPUs validiert und in das validierte Design der NVIDIA Enterprise AI Factory aufgenommen wurde. Kunden aus den mehr als 20.000 Organisationen, die heute F5 BIG-IP einsetzen, können ihre bewährten F5 BIG-IP-Funktionen nahtlos erweitern, wenn sie NVIDIA Enterprise AI Factories implementieren.
“F5 BIG-IP Next for Kubernetes auf NVIDIA BlueField vereint leistungsstarkes Traffic-Management, Sicherheit und KI-gestützte Steuerungsfunktionen in einer validierten, für den Unternehmenseinsatz geeigneten Lösung.”
Das validierte Design der NVIDIA Enterprise AI Factory basiert auf wiederverwendbaren Bausteinen, die eine vorhersehbare Leistung, Sicherheit und Skalierbarkeit gewährleisten, wenn Unternehmen KI in den Produktivbetrieb überführen. Statt Einzellösungen zusammenzustellen, legt die Architektur fest, wie GPUs, DPUs, Netzwerke und Software als einheitliches System zusammenarbeiten. Die Einbindung von F5 in dieses validierte Design unterstreicht diesen Ansatz.
Zusätzlich zur Designvalidierung haben wir ausführliche Leistungstests im Labor durchgeführt, die den Leistungs- und Effizienzgewinn beim Einsatz von BIG-IP Next for Kubernetes mit Beschleunigung durch NVIDIA-DPUs unter realen Bedingungen für verschiedene KI-Inferenz-Workloads quantifizieren. Die Ergebnisse und die Methodik finden Sie in unserem Bericht „Validierte Leistung für KI-Inferenz“.
Warum KI-Fabriken einen Full-Stack-Ansatz benötigen
Bei der Performance von KI-Inferenz geht es nicht nur um schnellere GPUs, sondern auch um den gesamten Stack, mit dem sich die Systeme optimieren lassen. In Produktionsumgebungen bestimmen Netzwerk, Sicherheit und Traffic-Management zunehmend, wie schnell Tokens generiert werden, wie zuverlässig Modelle reagieren und wie effizient die Infrastruktur genutzt wird.
Mit der Skalierung von KI-Diensten über verschiedene Mandanten, Modelle und Benutzer hinweg müssen Unternehmen zahlreiche Komponenten effektiv verwalten. Dies ist besonders wichtig für Organisationen, die lokale oder souveräne KI-Umgebungen bereitstellen, in denen Leistung, Governance und Kontrolle nicht an öffentliche Cloud-Dienste delegiert werden können.
Zu den Anforderungen von Unternehmen gehören die optimale Auslastung der Host-CPUs, die derzeit Netzwerk- und Sicherheitsaufgaben übernehmen müssen, eine gleichbleibende Latenz für eine optimale Zeit bis zum ersten Token (Time to First Token, TTFT), Transparenz und Kontrolle bei der Token-Nutzung sowie die Möglichkeit, Governance, Fairness und Compliance durchzusetzen.
An dieser Stelle werden DPUs – und die darauf ausgeführte Software – zu einem grundlegenden Bestandteil der KI-Fabrik.
Die richtigen Aufgaben auf die richtige Hardware auslagern
F5 BIG-IP Next for Kubernetes mit Beschleunigung durch NVIDIA BlueField-3-DPUs lagert wichtige Netzwerk- und Sicherheitsfunktionen von der Host-CPU auf die programmierbaren ARM-Kerne und Hardwarebeschleuniger der DPU aus.
Zu diesen ausgelagerten Diensten gehören Lastverteilung und Datenverkehrssteuerung, TLS-Terminierung und -Verschlüsselung, die Durchsetzung von Firewall- und Sicherheitsrichtlinien sowie API-Schutz und Angriffserkennung.
Durch die Verlagerung dieser Funktionen auf die NVIDIA BlueField-DPUs werden die Host-CPUs für allgemeine Workloads freigegeben, während sich die GPUs weiterhin vollständig auf die KI-Inferenz konzentrieren können.
Die Ergebnisse sind messbar und erheblich: Der Durchsatz bei der Token-Generierung steigt um mehr als 30 %, während sich die TTFT um bis zu 60 % reduziert.
Diese Verbesserungen führen unmittelbar zu schnelleren Antworten, einer höheren Modellauslastung und einer effizienteren Infrastruktur – genau das, was KI-Fabriken in Unternehmen benötigen.
Mehr als nur Offloading: Token-Governance und intelligentes LLM-Routing
Die Auslagerung ist nur der Anfang.
Die programmierbare Datenebene in BIG-IP Next for Kubernetes, die auf NVIDIA BlueField-DPUs ausgeführt wird, ermöglicht fortschrittliche KI-gestützte Dienste, die über herkömmliche Netzwerkfunktionen hinausgehen.
Integrierte Token-Governance
BIG-IP Next for Kubernetes führt native Funktionen zur Token-Governance ein, mit denen Unternehmen Token pro Mandant, Benutzer oder Modell zählen und nachverfolgen, Token-Ratenbegrenzungen und Nutzungsrichtlinien durchsetzen sowie Anforderungen an Compliance, Kostenverrechnung und Fairness erfüllen können.
Da die tokenbasierte Preisgestaltung zum vorherrschenden Wirtschaftsmodell für KI wird, ist Governance auf der Infrastrukturebene unerlässlich.
Intelligentes LLM-Routing mit NVIDIA NIM
Durch die Integration mit NVIDIA NIM-Microservices kann BIG-IP Next for Kubernetes Inferenzanfragen basierend auf der Komplexität der Abfrage, den Leistungsanforderungen oder den Richtlinienvorgaben dynamisch an das am besten geeignete Modell weiterleiten.
Dies ermöglicht schnellere Antworten auf einfache Anfragen, eine optimale Modellauslastung über unterschiedliche Workloads hinweg sowie eine richtlinienbasierte Weiterleitung, die auf Kosten-, Leistungs- und Compliance-Ziele abgestimmt ist.
Gemeinsam machen Token-Governance und intelligentes Routing BIG-IP Next for Kubernetes von einer Netzwerkkomponente zu einer Steuerungsebene für KI-Inferenzdatenverkehr.
Ein validierter Baustein der NVIDIA Enterprise AI Factory
NVIDIA RTX PRO-Server, ergänzt durch NVIDIA BlueField-3-DPUs, bilden die zentralen Komponenten der Plattform für beschleunigtes Computing in diesem durchgängig validierten Design für KI-Fabriken in Unternehmen.
Da BIG-IP Next for Kubernetes nun auf NVIDIA BlueField validiert und in das Design für Enterprise-KI-Fabriken integriert ist, profitieren Kunden von einer produktionsbereiten, optimalen Netzwerk- und Sicherheitsschicht, die eine deterministische Leistung für KI-Workloads gewährleistet. Darüber hinaus profitieren sie von einer höheren GPU- und CPU-Effizienz sowie von integrierten Kontrollmechanismen für Tokenökonomie und Governance.
Diese Validierung bekräftigt die gemeinsame Vision von F5 und NVIDIA: KI-Infrastruktur muss gezielt konzipiert und darf nicht einfach nur zusammengesetzt werden.
Ausblick
Während Unternehmen von KI-Experimenten zu produktiven KI-Fabriken übergehen, muss sich der Infrastruktur-Stack weiterentwickeln, um Leistung, Effizienz und Governance in großem Maßstab zu unterstützen. Während NVIDIA die Enterprise AI Factory kontinuierlich weiterentwickelt, wird F5 seine Rolle in den Bereichen Traffic-Management, Sicherheit und KI-gestützte Kontrollen ausbauen, um Inferenzplattformen der nächsten Generation in großem Maßstab zu unterstützen.
F5 BIG-IP Next for Kubernetes auf NVIDIA BlueField-DPUs bietet genau das: leistungsstarkes Traffic-Management, Sicherheit und KI-gestützte Steuerungsfunktionen in einer validierten, unternehmenstauglichen Lösung.
Wir sind stolz darauf, im Rahmen des Enterprise AI Factory-Ökosystems mit NVIDIA zusammenzuarbeiten, und freuen uns darauf, unsere gemeinsamen Innovations- und Markteinführungsaktivitäten in den kommenden Monaten auszuweiten.
Erfahren Sie mehr über das validierte Design der NVIDIA Enterprise AI Factory und darüber, wie F5 darin zum Einsatz kommt.
Über den Autor
Ähnliche Blogbeiträge
F5 und Equinix bündeln ihre Kräfte, um die sichere Anwendungsbereitstellung in Multicloud-Umgebungen zu vereinfachen
F5 und Equinix ermöglichen es Unternehmen, sich weltweit sicher und zuverlässig mit ihren Partnern zu vernetzen.
API-Sicherheitsrisiken und -herausforderungen
Erfahren Sie, warum APIs für die moderne App-Entwicklung unverzichtbar sind und wie Sie sie vor den häufigsten Sicherheitslücken schützen. Profitieren Sie von Expertentipps und direkt umsetzbaren Strategien.
Ein Meilenstein für die Community Impact Grants von F5
F5 feiert das fünfjährige Bestehen seines innovativen Community Impact Grant-Programms, das gemeinnützige Organisationen, bei denen sich F5-Mitarbeitende ehrenamtlich engagieren, mit Fördermitteln in Höhe von 5.000 US-Dollar unterstützt.
Mit moderner, anpassungsfähiger und sicherer Gesundheits-IT Leben retten
Die IT-Investitionen im Gesundheitswesen tragen dazu bei, die schnellsten Wege zu einer besseren Versorgung zu finden, indem sie die medizinische Betreuung näher an die Patientinnen und Patienten bringen. Viele Gesundheitsunternehmen nutzen riesige Mengen an klinischen und anderen Gesundheitsdaten, um Entwicklungen zu verfolgen und übergreifende Trends in der gesamten Gesundheitslandschaft zu erkennen. Gleichzeitig nähern sie sich einer möglichst präzisen, individuell zugeschnittenen Versorgung an.
Verbesserung der Benutzer- und Administrationserfahrung durch sicheren hybriden Zugriff
Diese Kombination aus BIG-IP Access Policy Manager und Azure Active Directory ermöglicht Identitätsföderation, zentralisierten Benutzerzugriff (über Single Sign-on) und erhöhte Anwendungssicherheit (durch Multi-Faktor-Authentifizierung) für geschäftskritische Anwendungen sowie cloudbasierte und SaaS-Anwendungen. Dieser Ansatz vereinfacht die Einrichtung und Bereitstellung, reduziert den Verwaltungsaufwand und verbessert die gesamte Administration.
Das Internet der Sicherheitsdinge
Nein, das ist keine Tirade über die Sicherheit des IoT. Es ist eine Geschichte über Veränderung – genauer gesagt über Veränderung und ihre Auswirkungen auf die Sicherheit. Veränderung ist allgegenwärtig. Es gibt unzählige Axiome und Sprichwörter über Veränderung, also ist es ...