Wie F5 NGINX Plus KI-Cluster unterstützt

Liam CrillySenior Director, Produktmanagement

In den vergangenen zehn Jahren war NGINX Open Source einer der weltweit meistgenutzten Webserver und gemessen am Marktanteil eine der führenden Lösungen für die Anwendungsbereitstellung. Es wurde für den Lastenausgleich und als Reverse-Proxy für alles eingesetzt – von kleinen Start-ups und akademischen Forschungsprojekten bis hin zu einigen der weltweit größten Webanwendungen.

So wie NGINX zur Standardwahl für die Anwendungsbereitstellung wurde, hat es sich im Stillen zu einem entscheidenden Dreh- und Angelpunkt für das Training und die Bereitstellung von KI-Anwendungen entwickelt. Führende KI-Frameworks, Toolkits, Bibliotheken und Plattformen – darunter Intel OpenVINO Model Server, NVIDIA Morpheus, Metas vLLM, NVIDIA Triton und weitere – verfügen über native Konfigurationen für F5 NGINX Plus (und NGINX Open Source), um gRPC/HTTP-Proxying, SSL/TLS-Terminierung, Load Balancing unter Berücksichtigung von Integritätsprüfungen und dynamische Neukonfiguration standardmäßig zu unterstützen. Zahlreiche KI-Dienste und -Lösungen, die auf Kubernetes-Clustern ausgeführt werden, führen den F5 NGINX Ingress Controller als eine ihrer bevorzugten Optionen für die Verwaltung des ein- und ausgehenden Datenverkehrs von KI-Clustern auf – sowohl für das Modelltraining als auch für die Inferenz. Schaut man hinter die Kulissen, stellt man fest, dass er fast überall dort zum Einsatz kommt, wo KI genutzt wird.

Bei einer Vielzahl von KI-Anwendungsfällen ist NGINX eine Schlüsselkomponente des KI-Stacks. Ganz gleich, ob Sie Basismodelle feinabstimmen, Token-Ausgaben von LLMs streamen oder Anfragen an Endpunkte zur Echtzeit-Anomalieerkennung weiterleiten – höchstwahrscheinlich ist NGINX bereits Teil des Datenpfads.

Warum sich KI-Teams für NGINX Plus entscheiden

• Kubernetes-nativer Ingress: Die meisten KI-Plattformen werden heute auf Kubernetes ausgeführt, und NGINX ist in Tools wie Run:ai, KServe und Ray Serve weiterhin der standardmäßige oder bevorzugte Ingress. Da KI-Anwendungen zunehmend in Hybrid-, Multi-Cloud- und Edge-Umgebungen eingesetzt werden, bietet NGINX Gateway Fabric eine Kubernetes-native Implementierung der Gateway API mit geringem Ressourcenbedarf und granularer Datenverkehrssteuerung. Dadurch erhalten KI-Teams mehr Kontrolle über Routing, Wiederholungsversuche und Observability, ohne die Komplexität eines Service Mesh hinzuzufügen.
• Dynamische Rollouts im großen Maßstab: KI-Inferenz-Workloads umfassen häufig wertvolle, GPU-gebundene Sitzungen, die eine sorgfältige Versionierung und unterbrechungsfreien Betrieb erfordern. NGINX unterstützt dynamische Konfigurationsneuladungen, gewichtete Datenverkehrsverteilung und aktive Integritätsprüfungen. So können Teams neue Modellversionen sicher bereitstellen, ohne laufende Sitzungen zu unterbrechen oder GPU-Warteschlangen zu überlasten.
• Produktionsreife API-Verarbeitung: Modellserver wie Triton, vLLM und OpenVINO nutzen gRPC oder HTTP/2 für eine schnelle, strukturierte Kommunikation. NGINX bietet ausgereifte, leistungsstarke Unterstützung für diese Protokolle sowie die Wiederverwendung von Verbindungen, Sitzungsaffinität, TLS-Terminierung und Anfragepufferung – allesamt unerlässlich für die Verarbeitung von stoßartigem oder langlebigem KI-Inferenzdatenverkehr.
• Betriebliche Kontrolle: NGINX Plus bietet erweiterte Funktionen wie RESTful-Konfigurationsaktualisierungen, die Verwaltung von Upstream-Servern im laufenden Betrieb und eine Web Application Firewall (WAF) für Unternehmen. Für Teams, die Dutzende oder Hunderte von NGINX-Instanzen clusterübergreifend verwalten, stellt F5 NGINX One eine zentrale Konsole zur Verwaltung von Konfigurationen, Systemzustand und Sicherheitsrichtlinien bereit – ideal für Teams, die mehrere Modelltypen oder KI-Anwendungsfälle mit unterschiedlichen Zugriffs- und Risikoprofilen unterstützen.
• F5 AI Gateway: Der AI Gateway wurde speziell für KI-Workloads entwickelt und erweitert NGINX um einen sicherheitsorientierten Ansatz für KI-Datenverkehr. Er bietet anpassbare Schutzmechanismen gegen Prompt-Injection und toxische Ausgaben sowie Ratenbegrenzungen und Nutzungskontingente, um Scraping, Überlastung oder unkontrollierte Abfragen in Umgebungen mit begrenzten GPU-Ressourcen zu verhindern. Für verschiedene Inferenzrouten können unterschiedliche Sicherheitsregeln angewendet werden – beispielsweise strengere Richtlinien für generative Modelle, während Vektor-APIs weniger restriktiv behandelt werden. Der gesamte Datenverkehr kann auf Token- oder Anfrageebene protokolliert, in Observability-Pipelines eingespeist und zur Erfüllung von Audit-Anforderungen genutzt werden.

Führende KI-Frameworks, -Tools und Managed Services integrieren NGINX

NGINX gehört bei vielen der führenden AIOps-Stacks, -Tools und Managed Services zu den standardmäßigen Ingress-Lösungen.

KI-Framework

Wie NGINX eingesetzt wird

Praktischer Nutzen

Intel OpenVINO Model Serve Eine Demo von F5 und Intel stellt Modell-Shards hinter NGINX Plus bereit (YouTube) Ein einziges Gateway kann Anfragen an CPU-, GPU- oder VPU-Backends weiterleiten.NVIDIA Triton Das Helm-Chart installiert Triton mit NGINX Plus Ingress für den gRPC-Zugriff (GitHub) HTTP/2-Multiplexing sorgt für eine hohe GPU-Auslastung.NVIDIA Morpheus Der Leitfaden „How I Did It“ sichert Morpheus über NGINX Plus Ingress ab (F5 Community) TLS-Offloading und eine adaptive WAF schützen die Echtzeit-Sicherheitsinferenz. NVIDIA (XLIO) Leitfaden zur Bereitstellung von NGINX über NVIDIA Accelerated IO (XLIO) (docs.nvidia.com) Optimiertes TLS-Offloading und Performance-Tuning, einschließlich Build-Anweisungen mit OpenSSL-Unterstützung und Beispieldateien. Meta vLLM Die offizielle Dokumentation erläutert die Lastverteilung auf mehrere vLLM-Instanzen über NGINX (vLLM) Schnelle horizontale Skalierung für Endpunkte zur Textgenerierung.

MLOps-Teams können NGINX-Produkte aus denselben Gründen problemlos einsetzen, aus denen sich Teams, die Microservices und APIs verwalten – beides wesentliche Bestandteile von KI-Bereitstellungen –, für NGINX entschieden haben. NGINX ist schlank, modular und portabel und bewältigt hohe Token-Volumina in unterschiedlichsten Umgebungen. KI-Entwickler und Machine-Learning-Ingenieure können NGINX beim Einrichten ihrer gängigen KI-Workflows einsetzen und dabei ein von ihrem Plattform- oder MLOps-Team konfiguriertes Container-Image verwenden. NGINX unterstützt die Hardwarebeschleunigung auf den meisten gängigen Plattformen und Prozessorarchitekturen.

KI-Komponenten, die NGINX als Standardoption aufführen, decken das gesamte Spektrum der KI-Infrastruktur ab – von der GPU-Planung auf niedriger Ebene bis hin zur Modellbereitstellung auf hoher Ebene, zur Orchestrierung von Deployments und zu Governance auf Unternehmensniveau. Zusammen zeigen sie, wie NGINX eine Vielzahl von Anwendungsfällen unterstützt: die sichere Weiterleitung von Datenverkehr an Inferenz-Endpunkte, die skalierbare und effiziente Bereitstellung von Modellen, die Verwaltung des Zugriffs auf mandantenfähige Cluster sowie die Durchsetzung betrieblicher Richtlinien für Versionskontrolle, Audits und die Einhaltung gesetzlicher Vorschriften.

• KServe: In den Bereitstellungsanleitungen wird davon ausgegangen, dass bereits eine NGINX Ingress Controller-Domain für das Routing von Inferenzdiensten vorhanden ist.
• Ray Serve: Die Dokumentation enthält Anweisungen zur Konfiguration des NGINX Ingress Controllers, um Dashboards und Modellendpunkte zugänglich zu machen.
• Seldon Core v2: In den Kapiteln zur Bereitstellung in Produktionsumgebungen wird die Einrichtung des NGINX Ingress Controllers über Helm beschrieben, einschließlich Canary- und Shadow-Traffic-Szenarien.
• Run:ai: In den Voraussetzungen wird NGINX als validierter Ingress-Controller für mandantenfähige Kubernetes-Cluster mit gemeinsam genutzten GPUs aufgeführt.
• AWS SageMaker: Die Dokumentation enthält Beispiele für den Einsatz von NGINX und Gunicorn als vorgeschaltete Server für benutzerdefinierte Inferenz-Container.
• Azure AKS: Microsoft bietet einen verwalteten NGINX Ingress Controller als integrierte, sofort einsatzbereite Option für den Ingress-Datenverkehr innerhalb des Clusters an.
• DataRobot: In der Installationsanleitung wird empfohlen, den NGINX Ingress Controller (v4.0.0+) für das pfadbasierte Routing zu Portable Prediction Servers auf EKS zu verwenden.

NGINX bietet einen geebneten Weg zu MLOps

Zusammen decken diese Plattformen und Tools das gesamte Spektrum der KI-Infrastruktur ab – von der GPU-Planung auf niedriger Ebene bis hin zur Modellbereitstellung auf hoher Ebene, zur Orchestrierung von Deployments und zu Governance auf Enterprise-Niveau. Gemeinsam zeigen sie, wie NGINX eine Vielzahl von Anwendungsfällen unterstützt: die sichere Weiterleitung von Datenverkehr an Inferenz-Endpunkte, die skalierbare und effiziente Bereitstellung von Modellen, die Verwaltung des Cluster-Zugriffs für mehrere Mandanten sowie die Durchsetzung betrieblicher Richtlinien für Versionskontrolle, Audits und die Einhaltung regulatorischer Vorgaben. Die Liste wächst stetig, und wir sind gespannt darauf, was die nächste Generation KI-nativer Unternehmen mit NGINX entwickelt.

Holen Sie sich Unterstützung bei der Skalierung Ihrer KI mit F5 NGINX One.

Über den Autor

Liam CrillySenior Director, Produktmanagement

Weitere Blogbeiträge von Liam Crilly