Was wäre, wenn die nächste Herausforderung bei der KI-Infrastruktur nicht einfach darin bestünde, mehr GPUs zu beschaffen, sondern mehr aus jeder bereits eingesetzten GPU herauszuholen?
Diese Frage gewinnt zunehmend an Bedeutung, da Unternehmen KI von der Experimentierphase in den produktiven Einsatz überführen.
Frühe KI-Projekte beginnen häufig mit dem Zugang zu Rechenleistung. Teams benötigen GPU-Kapazitäten, um Modelle zu testen, Anwendungen zu entwickeln und ihren Nutzen nachzuweisen. Doch wenn KI-Dienste auf mehr Nutzer, Anwendungen, Mandanten und Modelle ausgeweitet werden, verändern sich die Anforderungen an die Infrastruktur.
KI im Produktivbetrieb ist nicht nur eine Frage der Rechenleistung. Sie ist auch eine Frage der Effizienz, der Governance, der Weiterleitung und der Kosten. Und zunehmend ist sie eine geschäftliche Herausforderung.
Genau darauf liegt der Schwerpunkt des aktuellen F5 BIG-IP Next for Kubernetes 2.3.0-Release.
Mit diesem Release hat F5 erweiterte KI-Optimierungen für KI-Inferenz im Produktionsmaßstab eingeführt. BIG-IP Next for Kubernetes 2.3.0 integriert zentrale Funktionen zur Optimierung des KI-Datenverkehrs in eine native, produktionsreife Infrastruktur. So können Unternehmen redundante KI-Rechenvorgänge reduzieren, die GPU-Auslastung verbessern, Anfragen intelligent an verschiedene Modelle und Dienste weiterleiten und den Token-Verbrauch über Benutzer und Mandanten hinweg steuern.
“Die Zukunft der KI wird nicht allein durch reine Rechenleistung entschieden, sondern durch Unternehmen, die jede Anfrage intelligenter gestalten, für jedes Token mehr Transparenz schaffen und jede GPU effizienter auslasten können. F5 BIG-IP Next for Kubernetes 2.3.0 hilft Kunden, diesen nächsten Schritt zu gehen.”
Die Version erweitert außerdem die Unterstützung für NVIDIA-Plattformen der nächsten Generation für beschleunigte Netzwerke. Dazu gehören die Unterstützung für ConnectX-8 SuperNIC auf x86-Systemen sowie für ConnectX-7 und BlueField-3 im SuperNIC-Modus.
KI-Datenverkehr wird zunehmend zu einem zentralen Kontrollpunkt
Mit dem Übergang von KI in den Produktivbetrieb wird das Traffic-Management zu weit mehr als nur Konnektivität.
Eine einzige Anfrage kann Tausende von Tokens erzeugen. Ähnliche Prompts können bei verschiedenen Benutzern oder Anwendungen wiederholt auftreten. Für manche Anfragen ist möglicherweise das leistungsfähigste verfügbare Modell erforderlich, während für andere ein kostengünstigeres Modell oder ein spezialisierter KI-Dienst besser geeignet ist.
Jede KI-Anfrage erfordert eine Entscheidung. Wohin soll sie weitergeleitet werden? Welches Modell soll sie bearbeiten? Wie viel wird das kosten? Wie viele Infrastrukturkapazitäten wird sie beanspruchen? Und wer darf darüber entscheiden?
Diese Entscheidungen müssen konsistent, intelligent und möglichst nah am Datenverkehr selbst getroffen werden. BIG-IP Next for Kubernetes 2.3.0 trägt dazu bei, diesen intelligenteren Kontrollpunkt zu schaffen und die Verarbeitung von KI-Anfragen zu optimieren, bevor sie kostspielige Rechenressourcen beanspruchen. Denn bei produktiv eingesetzter KI entscheidet nicht nur das Modell über die Wettbewerbsfähigkeit, sondern auch das System rund um das Modell.
Vorbereitung auf dynamischere KI-Workflows
Dies wird umso wichtiger, je mehr sich KI-Anwendungen von einzelnen Prompt-Antwort-Interaktionen hin zu dynamischeren agentenbasierten Workflows entwickeln.
In diesen Umgebungen kann der KI-Datenverkehr im Rahmen eines mehrstufigen Prozesses zwischen Agenten, Tools, Inferenzdiensten und Anwendungskomponenten fließen. Daraus ergeben sich neue Anforderungen an die Datenverkehrssteuerung, den Identitätskontext, die Durchsetzung von Richtlinien, die Sitzungskontinuität und die Ausfallsicherheit.
Für Unternehmen ist die Konsequenz klar: Eine produktive KI-Infrastruktur muss mehr leisten, als Anwendungen mit Modellen zu verbinden. Sie muss eine zentrale, einheitliche Kontrollinstanz dafür bieten, wie KI-Interaktionen in zunehmend verteilten Workflows weitergeleitet, gesteuert, authentifiziert und bereitgestellt werden.
BIG-IP Next for Kubernetes 2.3.0 trägt dazu bei, diese Grundlage zu schaffen, indem es erweiterte Funktionen zur KI-Optimierung in eine native, produktionsreife Infrastruktur integriert. Durch Verbesserungen bei der Zwischenspeicherung, Weiterleitung, Lastverteilung, Steuerung und Beschleunigung von KI-Anfragen unterstützt dieses Release Unternehmen dabei, sich auf eine Zukunft vorzubereiten, in der KI-Datenverkehr zunehmend verteilt, autonom und geschäftskritisch wird.
Reduzierung redundanter KI-Rechenleistung
Eine der direktesten Möglichkeiten, die Wirtschaftlichkeit von KI zu verbessern, besteht darin, dieselbe kostspielige Arbeit nicht immer wieder auszuführen.
Mit der zunehmenden Verbreitung von KI erzeugen Nutzer und Anwendungen häufig ähnliche oder wiederholte Prompts. Ohne Optimierung kann jede dieser Anfragen zusätzliche Inferenzkapazität beanspruchen, selbst wenn bereits eine ähnliche Antwort generiert wurde. Das ist Verschwendung. Und im KI-Maßstab wird Verschwendung schnell teuer.
BIG-IP Next for Kubernetes 2.3.0 führt semantisches KI-Modell-Caching als allgemein verfügbare Funktion ein. Dadurch lässt sich redundante GPU-Rechenleistung bei ähnlichen oder wiederholten Prompts reduzieren, was die Token-Wirtschaftlichkeit verbessert, die Latenz senkt und die GPU-Effizienz steigert.
Im Produktivbetrieb können redundante KI-Berechnungen in großem Umfang erhebliche unnötige Kosten verursachen. Diese Version trägt dazu bei, diese Herausforderung zu bewältigen, indem sie die KI-Inferenz auf der Datenverkehrsebene effizienter gestaltet.
Verbesserung der GPU-Auslastung und Modellauswahl
Herkömmlicher Lastenausgleich wurde nicht für die Komplexität moderner KI-Inferenz entwickelt.
KI-Workloads bringen neue Variablen mit sich, darunter GPU-Auslastung, Warteschlangentiefe, Modellverfügbarkeit, Backend-Performance und Infrastrukturkapazität. Es reicht nicht aus, den Datenverkehr an den nächsten verfügbaren Endpunkt weiterzuleiten. KI-Anfragen sollten auf Grundlage der aktuellen Bedingungen an die am besten geeignete verfügbare Ressource geleitet werden.
BIG-IP Next for Kubernetes 2.3.0 führt intelligentes KI-Load-Balancing als allgemein verfügbare Funktion ein. Dabei wird der Datenverkehr für KI-Inferenzen mithilfe von Echtzeit-Telemetriedaten und Informationen zur Infrastruktur dynamisch verteilt, um die GPU-Auslastung zu optimieren, Warteschlangenengpässe zu reduzieren und die Antwortzeiten zu verbessern.
Die Version führt außerdem die Routing-Integration für Large Language Models (LLMs) als allgemein verfügbare Funktion ein. Sie ermöglicht ein intelligentes Routing zwischen verschiedenen LLMs und KI-Diensten auf Grundlage von Richtlinien, die beispielsweise Kosten, Leistung, Modellspezialisierung oder betriebliche Anforderungen berücksichtigen.
Die meisten Unternehmen werden produktive KI-Anwendungen nicht mit nur einem einzigen Modell betreiben. Welches Modell das richtige ist, hängt vom Anwendungsfall, den Leistungsanforderungen, den Unternehmensrichtlinien und der Kostenstruktur ab.
Das leistungsstärkste Modell ist nicht immer das richtige. Manchmal besteht die klügste KI-Entscheidung darin, ein Modell zu wählen, das für die jeweilige Aufgabe gut genug, schnell genug und kosteneffizient genug ist. Dafür ist eine Infrastruktur erforderlich, die diese Entscheidung anhand festgelegter Richtlinien treffen kann.
Steuerung des Tokenverbrauchs
Tokens entwickeln sich zu einer der wichtigsten Einheiten der Wirtschaftlichkeit von KI-Infrastrukturen.
Sie beeinflussen Kosten, Kapazitätsplanung, Mandantennutzung und Leistung. An ihnen zeigt sich auch, wo die Begeisterung für KI auf die finanzielle Realität trifft.
BIG-IP Next for Kubernetes 2.3.0 führt die Token-Governance als allgemein verfügbare Funktion ein und ermöglicht die Überwachung, Abrechnung und Ratenbegrenzung von Tokens. Dies hilft Unternehmen, die Kosten ihrer KI-Infrastruktur besser zu verwalten und Nutzungsrichtlinien für Benutzer, Anwendungen und Mandanten durchzusetzen.
Für Führungskräfte schafft dies mehr Transparenz bei der KI-Nutzung. Plattformteams erhalten damit eine praktische Möglichkeit, gemeinsam genutzte KI-Infrastrukturen zu verwalten.
In produktiven KI-Umgebungen sorgt die Token-Governance dafür, dass Unternehmen einen der am schnellsten wachsenden Kostentreiber moderner Infrastrukturen unter Kontrolle bringen.
Flexibilität der Infrastruktur erweitern
Die KI-Infrastruktur entwickelt sich rasant weiter. Einige Unternehmen setzen zunehmend auf DPU-basierte Architekturen. Andere optimieren x86-Systeme mit Netzwerkbeschleunigung der nächsten Generation. Viele modernisieren schrittweise und wägen dabei Leistung, Kosten und Betriebsbereitschaft gegeneinander ab.
BIG-IP Next for Kubernetes 2.3.0 erweitert die Hardwareunterstützung um ConnectX-8 SuperNIC auf x86-Systemen. Die Version unterstützt außerdem ConnectX-7 und BlueField-3 im SuperNIC-Modus.
Dies gibt Unternehmen mehr Flexibilität bei der Optimierung der Verarbeitung von KI-Datenverkehr und der CPU-Effizienz. Für Teams, die noch nicht bereit sind, DPUs einzusetzen, bietet die SuperNIC-Unterstützung eine weitere Möglichkeit, die Effizienz der Infrastruktur zu steigern und gleichzeitig mit NVIDIA-Netzwerkplattformen der nächsten Generation kompatibel zu bleiben.
Die Modernisierung der KI-Infrastruktur ist kein einmaliger Schritt. Unternehmen benötigen Optionen, die ihren aktuellen Anforderungen gerecht werden und ihnen zugleich den Weg zu fortschrittlicheren, beschleunigten Architekturen in der Zukunft offenhalten.
Warum das wichtig ist
BIG-IP Next for Kubernetes 2.3.0 spiegelt einen umfassenderen Wandel bei den Anforderungen an den Betrieb von KI-Infrastrukturen in Unternehmen wider.
In der ersten Phase der KI ging es um den Zugang zu Rechenleistung. In der nächsten Phase geht es um Kontrolle.
Wenn KI-Dienste in den Produktivbetrieb übergehen, müssen Teams Leistung, Kosteneffizienz, Richtlinien und Vertrauen gemeinsam berücksichtigen. Sie müssen Anfragen optimieren, bevor diese kostspielige Infrastruktur beanspruchen, die Nutzung über verschiedene Mandanten und Anwendungen hinweg steuern, den Datenverkehr intelligent zwischen Modellen und Diensten weiterleiten und eine beschleunigte KI-Leistung für heute und morgen ermöglichen.
Darin liegt der Mehrwert der erweiterten KI-Optimierung in BIG-IP Next for Kubernetes 2.3.0.
Diese aktuelle Version unterstützt Unternehmen dabei, ihre KI-Infrastruktur effizienter und kontrollierter zu gestalten und besser auf den produktiven Einsatz in großem Maßstab vorzubereiten.
Die Zukunft der KI wird nicht allein durch reine Rechenleistung entschieden, sondern durch Unternehmen, die jede Anfrage intelligenter gestalten, jedes Token besser nachvollziehbar machen und jede GPU effizienter auslasten können. F5 BIG-IP Next for Kubernetes 2.3.0 hilft Kunden, diesen nächsten Schritt zu gehen.
Weitere Informationen finden Sie auf der Webseite zu F5 BIG-IP Next for Kubernetes.
Über den Autor
Ähnliche Blogbeiträge
Kubernetes-native WAF für das Gateway-Zeitalter: F5 WAF for NGINX lässt sich jetzt in F5 NGINX Gateway Fabric integrieren
F5 erweitert WAFs, um mit F5 NGINX Gateway Fabric und F5 NGINX Ingress Controller einen konsistenten, skalierbaren Schutz über Cluster und Umgebungen hinweg bereitzustellen.
Von Regeln zu Risiken: Die Entwicklung von WAFs und der Aufstieg KI-gestützter Ergebnisse
WAF-Programme geraten oft an einem bekannten Punkt ins Stocken: Der Blockierungsmodus wird verzögert aktiviert, weil die Feinabstimmung aufwendig ist.
Erklärbarkeit: Licht ins Dunkel der KI-Blackbox bringen
Einblicke von James White, CTO bei CalypsoAI: Dank GenAI verstehen wir inzwischen gut, wie Antworten generiert und an uns zurückgegeben werden. Vereinfacht gesagt basiert KI auf einer Transformer-Architektur – sie wählt die beste Vorhersage für das nächste Wort und den nächsten Satz aus und liefert anhand der ihr vorliegenden Informationen die wahrscheinlichste Antwort […]
Die neue KI-Risikolandschaft: unsichtbar, autonom und bereits im Unternehmen
James White, VP Engineering, F5 Zur Jahresmitte 2025 ist es an der Zeit, eine Momentaufnahme der KI-Nutzung in Unternehmen und des aktuellen Stands der KI-Sicherheit zu erstellen. Der Einsatz generativer KI ist in Unternehmen mittlerweile Standard Unternehmen verfügen inzwischen durchweg zumindest über ein grundlegendes Verständnis von generativer KI. Sie wissen, was sie ist und wo sie […]
Die KI-Grenzen sichern: Strategien zur Bekämpfung von Datenexfiltration
Da Unternehmen zunehmend Modelle der generativen KI (GenAI) und große Sprachmodelle (LLMs) in ihre digitalen Systeme integrieren, sind sie mit neuen und erhöhten Risiken konfrontiert. Wenig überraschend stehen dabei Risiken im Zusammenhang mit Datenexfiltration – der unbefugten Übertragung von Daten aus einem Unternehmen an ein externes Ziel – meist ganz oben auf der Prioritätenliste der Sicherheitsteams. Ein Verständnis […]
Everest Group-Bericht: Aktuelle Trends und Zukunftsaussichten bei der Einführung von GenAI in der Industrie
Wir freuen uns, einen wesentlichen Beitrag zu einem wegweisenden neuen Bericht der Everest Group, einem weltweit führenden Forschungsunternehmen, geleistet zu haben. Der Bericht mit dem Titel „Generative AI Adoption – Examining Real-world Use in Horizontal Functions and Future Outlook“ bietet eine eingehende Analyse der Einführung generativer KI (GenAI) in verschiedenen Branchen. Dem Bericht zufolge ist die IT […]