KI-/ML-Workloads in Kubernetes mit Ingress-Controllern skalieren, absichern und überwachen

Ilya KrutovSenior Product Marketing Manager | F5 NGINX

Workloads für künstliche Intelligenz und maschinelles Lernen (KI/ML) revolutionieren die Arbeitsweise und Innovationskraft von Unternehmen. Kubernetes, der De-facto-Standard für die Orchestrierung und Verwaltung von Containern, ist die bevorzugte Plattform für den Betrieb skalierbarer Workloads für große Sprachmodelle (LLMs) und Inferenzmodelle in hybriden Multi-Cloud-Umgebungen.

In Kubernetes spielen Ingress-Controller eine entscheidende Rolle bei der Bereitstellung und Absicherung containerisierter Anwendungen. Am Rand eines Kubernetes-Clusters eingesetzt, dienen sie als zentrale Stelle für die Kommunikation zwischen Benutzern und Anwendungen.

In diesem Blogbeitrag untersuchen wir, wie Ingress-Controller und der F5 NGINX Connectivity Stack for Kubernetes die Modellbereitstellung, Experimente, Überwachung und Sicherheit für KI/ML-Workloads vereinfachen und optimieren können.

KI-/ML-Modelle in großem Maßstab in der Produktion bereitstellen

Bei der groß angelegten Bereitstellung von KI-/ML-Modellen können Sie die standardmäßig verfügbaren Funktionen und Möglichkeiten von Kubernetes unterstützen:

• Beschleunigen und vereinfachen Sie den Release-Lebenszyklus von KI-/ML-Anwendungen.
• Ermöglichen Sie die Portabilität von KI/ML-Workloads über verschiedene Umgebungen hinweg.
• Verbessern Sie die Effizienz und Wirtschaftlichkeit der Nutzung von Rechenressourcen.
• Skalierbarkeit gewährleisten und Produktionsreife erreichen.
• Optimieren Sie die Umgebung, um die geschäftlichen SLAs zu erfüllen.

Gleichzeitig stehen Unternehmen möglicherweise vor Herausforderungen, wenn es darum geht, KI-/ML-Modelle in großem Maßstab in Produktionsumgebungen bereitzustellen, zu testen, zu überwachen und abzusichern:

• Zunehmende Komplexität und eine wachsende Zahl unterschiedlicher Tools erschweren es Unternehmen, Kubernetes-Umgebungen im eigenen Rechenzentrum, in der Cloud und am Netzwerkrand zu konfigurieren, zu betreiben, zu verwalten, zu automatisieren und Fehler zu beheben.
• Beeinträchtigte Benutzererlebnisse aufgrund von Verbindungszeitüberschreitungen und Fehlern infolge dynamischer Ereignisse wie Pod-Ausfällen und -Neustarts, automatischer Skalierung und extrem hohen Anfrageraten.
• Leistungseinbußen, Ausfallzeiten, sowie eine langsamere und schwierigere Fehlerbehebung in komplexen Kubernetes-Umgebungen aufgrund aggregierter Berichte und fehlender detaillierter Echtzeit- und Verlaufsmetriken.
• Erhebliches Risiko, Cybersicherheitsbedrohungen ausgesetzt zu sein in hybriden Kubernetes-Umgebungen mit mehreren Clouds, da herkömmliche Sicherheitsmodelle nicht für den Schutz lose gekoppelter verteilter Anwendungen ausgelegt sind.

Ingress-Controller der Enterprise-Klasse wie der F5 NGINX Ingress Controller können bei der Bewältigung dieser Herausforderungen helfen. Durch den Einsatz eines einzigen Tools, das die Funktionen eines Ingress-Controllers, Load Balancers und API-Gateways vereint, erzielen Sie eine höhere Verfügbarkeit, besseren Schutz und umfassendere Transparenz in großem Maßstab – unabhängig davon, wo Sie Kubernetes ausführen. Darüber hinaus werden Komplexität und Betriebskosten reduziert.

NGINX Ingress Controller lässt sich außerdem eng mit einer branchenführenden Layer-7-Anwendungsschutztechnologie von F5 integrieren, die dazu beiträgt, die OWASP Top 10 der Cyberbedrohungen für LLM-Anwendungen abzuwehren und KI-/ML-Workloads vor DoS-Angriffen zu schützen.

Vorteile von Ingress-Controllern für KI-/ML-Workloads

Ingress-Controller können die Bereitstellung und den Betrieb von KI-/ML-Workloads in Produktionsumgebungen durch die folgenden Funktionen vereinfachen und optimieren:

• Modellbereitstellung – Stellen Sie Anwendungen unterbrechungsfrei bereit – mit Kubernetes-nativem Lastausgleich, automatischer Skalierung, Ratenbegrenzung und dynamischer Neukonfiguration.
• Modellexperimente – Implementieren Sie Blue-Green- und Canary-Bereitstellungen sowie A/B-Tests, um neue Versionen und Upgrades ohne Ausfallzeiten einzuführen.
• Modellüberwachung – Erfassen, visualisieren und analysieren Sie Modellmetriken, um bessere Einblicke in den Zustand und die Leistung der Anwendung zu erhalten.
• Modellsicherheit – Konfigurieren Sie Benutzeridentitäten, Authentifizierung, Autorisierung, rollenbasierte Zugriffssteuerung und Verschlüsselungsfunktionen, um Apps vor Cybersicherheitsbedrohungen zu schützen.

NGINX Connectivity Stack für Kubernetes umfasst den NGINX Ingress Controller und F5 NGINX App Protect, um eine schnelle, zuverlässige und sichere Kommunikation zwischen Kubernetes-Clustern, auf denen KI/ML-Anwendungen ausgeführt werden, und deren Benutzern zu ermöglichen – sowohl lokal als auch in der Cloud. Die Lösung vereinfacht und optimiert die Modellbereitstellung, Experimente, Überwachung und Sicherheit in jeder Kubernetes-Umgebung und erweitert die Funktionen von Cloud-Anbietern und vorkonfigurierten Kubernetes-Angeboten um ein höheres Maß an Schutz, Verfügbarkeit und Beobachtbarkeit im großen Maßstab.

Erste Schritte mit dem NGINX Connectivity Stack for Kubernetes

NGINX bietet ein umfassendes Set an Tools und Bausteinen, das Ihre Anforderungen erfüllt und die Sicherheit, Skalierbarkeit und Transparenz Ihrer Kubernetes-Plattform verbessert.

Sie können noch heute loslegen, indem Sie eine kostenlose 30-tägige Testversion von Connectivity Stack for Kubernetes anfordern.

Über den Autor

Ilya KrutovSenior Product Marketing Manager | F5 NGINX

Weitere Blogbeiträge von Ilya Krutov