Einer der Hauptvorteile beim Ausführen von Workloads für künstliche Intelligenz (KI) und maschinelles Lernen (ML) in Kubernetes besteht darin, dass der Ingress Controller als zentrale Kontrollinstanz für alle eingehenden Anfragen dient. Dieses vielseitige Modul fungiert als Load Balancer und API-Gateway und bietet eine solide Grundlage für die Absicherung von KI-/ML-Anwendungen in einer Kubernetes-Umgebung.
Als zentrale Komponente bietet der Ingress Controller einen praktischen Ansatzpunkt, um Sicherheits- und Leistungsmaßnahmen umzusetzen, Aktivitäten zu überwachen und die Einhaltung von Vorschriften durchzusetzen. Insbesondere bietet die Absicherung von KI-/ML-Anwendungen am Ingress Controller in einer Kubernetes-Umgebung mehrere strategische Vorteile, die wir in diesem Blogbeitrag näher beleuchten.
Zentrale Kontrolle von Sicherheit und Compliance
Da der Ingress Controller als Gateway zu Ihrem Kubernetes-Cluster fungiert, können MLOps- und Plattform-Engineering-Teams eine zentrale Stelle zur Durchsetzung von Sicherheitsrichtlinien einrichten. Dadurch wird die Konfiguration von Sicherheitseinstellungen für einzelne Pods oder Services weniger komplex. Indem Sie die Sicherheitskontrollen auf der Ingress-Ebene zentralisieren, vereinfachen Sie den Compliance-Prozess und erleichtern die Verwaltung und Überwachung des Compliance-Status.
Zentralisierte Authentifizierung und Autorisierung
Der Ingress Controller ist außerdem der logische Ort, um die Authentifizierung und Autorisierung für den Zugriff auf all Ihre KI/ML-Anwendungen zu implementieren und durchzusetzen. Durch ein leistungsfähiges Zertifizierungsstellenmanagement wird der Ingress Controller zudem zum Dreh- und Angelpunkt beim Aufbau von Zero-Trust-Architekturen (ZT) für Kubernetes. ZT ist entscheidend, um die kontinuierliche Sicherheit und Compliance sensibler KI-Anwendungen zu gewährleisten, die mit äußerst wertvollen proprietären Daten arbeiten.
Ratenbegrenzung und Zugriffskontrolle
Der Ingress Controller ist der ideale Ort, um eine Ratenbegrenzung durchzusetzen und Ihre Anwendungen so vor Missbrauch wie DDoS-Angriffen oder übermäßigen API-Aufrufen zu schützen. Dies ist insbesondere für öffentlich zugängliche KI-/ML-APIs von entscheidender Bedeutung. Angesichts neuartiger KI-Bedrohungen wie Modelldiebstahl und Datenlecks werden Ratenbegrenzung und Zugriffskontrolle für den Schutz vor Brute-Force-Angriffen immer wichtiger. Sie tragen außerdem dazu bei, zu verhindern, dass Angreifer die Geschäftslogik missbrauchen oder Schutzmechanismen mittels Jailbreaking umgehen, um Daten sowie Informationen zum Modelltraining oder zu Modellgewichten zu extrahieren.
Integration einer Web Application Firewall (WAF)
Viele Ingress-Controller unterstützen die Integration mit WAFs, die für den Schutz öffentlich zugänglicher Anwendungen und Dienste unverzichtbar sind. WAFs bieten eine zusätzliche Sicherheitsebene gegen gängige Web-Schwachstellen und Angriffe wie die OWASP Top 10. Noch wichtiger ist, dass richtig konfigurierte WAFs vor gezielteren Angriffen auf KI/ML-Anwendungen schützen. Ein wichtiger Aspekt bei KI/ML-Anwendungen, für die Latenz und Leistung entscheidend sind, ist der potenzielle Mehraufwand durch eine WAF. Damit eine WAF bei KI/ML-Anwendungen effektiv eingesetzt werden kann, muss sie zudem eng in den Ingress-Controller sowie dessen Monitoring- und Observability-Dashboards und Alarmierungsstrukturen integriert sein. Ideal ist es, wenn WAF und Ingress-Controller eine gemeinsame Datenebene nutzen können.
Fazit: Den Ingress Controller frühzeitig in die Planung von KI/ML-Architekturen einbeziehen
Da der Ingress Controller bei der Bereitstellung von KI/ML-Anwendungen in Kubernetes eine so wichtige Rolle spielt, sollten seine Funktionen bereits bei der Architekturplanung von KI/ML-Anwendungen berücksichtigt werden. Dadurch lassen sich redundante Funktionen vermeiden und eine fundiertere Entscheidung für einen Ingress Controller treffen, der sich entsprechend den Anforderungen Ihrer KI/ML-Anwendung skalieren und weiterentwickeln lässt. Für MLOps-Teams wird der Ingress Controller zu einem zentralen Kontrollpunkt für viele ihrer kritischen Plattform- und Betriebsfunktionen, wobei Sicherheit zu den obersten Prioritäten zählt.
Erste Schritte mit NGINX
NGINX bietet ein umfassendes Set an Tools und Bausteinen, das Ihre Anforderungen erfüllt und die Sicherheit, Skalierbarkeit und Beobachtbarkeit Ihrer Kubernetes-Plattform verbessert.
Sie können noch heute loslegen, indem Sie eine kostenlose 30-tägige Testversion von Connectivity Stack for Kubernetes anfordern.
Über den Autor
Ähnliche Blogbeiträge
Die Zukunft von NGINX: Zurück zu unseren Open-Source-Wurzeln
Beim NGINX Sprint 2022 besinnen wir uns auf unsere Open-Source-Wurzeln. Erfahren Sie mehr über die Initiativen, die wir im kommenden Jahr verfolgen, und teilen Sie uns mit, was Sie sich wünschen.
Ein Leitfaden zur Auswahl eines Ingress-Controllers, Teil 1: Ermitteln Sie Ihre Anforderungen
Ein Ingress-Controller kann eines der leistungsstärksten Tools in Ihrem Kubernetes-Stack sein. Erfahren Sie, wie Sie Ihre Ingress-Anforderungen ermitteln, um die beste Option auszuwählen.
Bereitstellung des NGINX Ingress Controllers auf Amazon EKS: So haben wir getestet
Wir haben kürzlich den Lösungsleitfaden zum NGINX Ingress Controller um Empfehlungen zur Dimensionierung für Amazon Elastic Kubernetes Service (EKS) ergänzt. In diesem Blogbeitrag erläutern wir, wie wir diese Empfehlungen erarbeitet haben, und stellen Ihnen alle Informationen zur Verfügung, die Sie benötigen, um selbst ähnliche Tests durchzuführen.
Protokollierung des Datenverkehrs zwischen NGINX und Upstream-Servern bei CDN77
Bei der Fehlersuche bei Datenverkehrsproblemen zwischen NGINX und Upstream-Servern konnte CDN77 die benötigten Daten nur aus dem Fehlerprotokoll mit aktivierter Debug-Ausgabe beziehen, was die Leistung beeinträchtigt und riesige Dateien erzeugt. Daher entwickelte das Team ein neues benutzerdefiniertes Modul, das ausschließlich die benötigten Daten protokolliert.
Ankündigung von NGINX Plus R16
NGINX Plus R16 ist eine einheitliche, elastische Ingress- und Egress-Schicht für Anwendungen, die die Funktionen eines Load Balancers, API-Gateways und einer WAF vereint und neue Features wie clusterfähige Ratenbegrenzung, Schlüssel-Wert-Speicher, „Random with Two Choices“, verbessertes UDP-Load-Balancing und vieles mehr bietet.
5 Gründe für den Umstieg auf softwarebasiertes Load Balancing
Entdecken Sie fünf Gründe für den Wechsel zu einem softwarebasierten Load Balancer wie NGINX Plus, darunter Kosteneinsparungen, die Einführung von DevOps und eine einheitliche Lösung für alle Umgebungen.