Faites évoluer, sécurisez et surveillez les charges de travail d’IA/ML dans Kubernetes avec des contrôleurs Ingress

Ilya KrutovResponsable senior du marketing produit | F5 NGINX

Les charges de travail d’intelligence artificielle et de machine learning (IA/ML) révolutionnent la manière dont les entreprises fonctionnent et innovent. Kubernetes, la norme de facto pour l’orchestration et la gestion des conteneurs, est la plateforme de choix pour exécuter des charges de travail évolutives basées sur de grands modèles de langage (LLM) et des modèles d’inférence dans des environnements hybrides et multicloud.

Dans Kubernetes, les contrôleurs Ingress jouent un rôle essentiel dans la mise à disposition et la sécurisation des applications conteneurisées. Déployés en périphérie d’un cluster Kubernetes, ils constituent le point central de gestion des communications entre les utilisateurs et les applications.

Dans cet article de blog, nous examinons comment les contrôleurs Ingress et F5 NGINX Connectivity Stack for Kubernetes peuvent contribuer à simplifier et à optimiser le déploiement des modèles, l’expérimentation, la surveillance et la sécurité des charges de travail d’IA/ML.

Déployer des modèles d’IA/ML en production à grande échelle

Lors du déploiement à grande échelle de modèles d’IA/ML, les fonctionnalités et capacités natives de Kubernetes peuvent vous aider à :

• Accélérez et simplifiez le cycle de publication des applications d’IA/ML.
• Permettre la portabilité des charges de travail d’IA/ML entre différents environnements.
• Améliorer l’efficacité de l’utilisation des ressources de calcul et leur rentabilité.
• Assurer l’évolutivité et atteindre un niveau de maturité adapté à la production.
• Optimiser l’environnement afin de respecter les SLA métier.

Dans le même temps, les organisations peuvent rencontrer des difficultés pour déployer, tester, surveiller et sécuriser à grande échelle les modèles d’IA/ML en production :

• La complexité croissante et la prolifération des outils compliquent la configuration, l’exploitation, la gestion, l’automatisation et le dépannage des environnements Kubernetes sur site, dans le cloud et en périphérie.
• Expériences utilisateur médiocres en raison de délais d’expiration de connexion et d’erreurs provoqués par des événements dynamiques, tels que les défaillances et les redémarrages de pods, la mise à l’échelle automatique et des taux de requêtes extrêmement élevés.
• Dégradation des performances, interruptions de service, ainsi qu’un dépannage plus lent et plus difficile dans les environnements Kubernetes complexes en raison de rapports agrégés et de l’absence de métriques détaillées, en temps réel et historiques.
• Risque important d’exposition aux cybermenaces dans les environnements Kubernetes hybrides et multicloud, car les modèles de sécurité traditionnels ne sont pas conçus pour protéger les applications distribuées faiblement couplées.

Les contrôleurs Ingress de classe entreprise tels que F5 NGINX Ingress Controller peuvent vous aider à relever ces défis. En utilisant un outil unique qui combine les fonctionnalités d’un contrôleur Ingress, d’un équilibreur de charge et d’une passerelle API, vous bénéficiez d’une disponibilité, d’une protection et d’une visibilité accrues à grande échelle, quel que soit l’environnement dans lequel vous exécutez Kubernetes. De plus, cet outil réduit la complexité et les coûts d’exploitation.

NGINX Ingress Controller peut également être étroitement intégré à une technologie de protection des applications de couche 7 de F5 de pointe qui contribue à atténuer les 10 principales cybermenaces de l’OWASP pour les applications basées sur des LLM et protège les charges de travail d’IA/ML contre les attaques par déni de service (DoS).

Avantages des contrôleurs Ingress pour les charges de travail d’IA/ML

Les contrôleurs Ingress peuvent simplifier et rationaliser le déploiement et l’exécution des charges de travail d’IA/ML en production grâce aux fonctionnalités suivantes :

• Mise à disposition des modèles – Déployez des applications sans interruption grâce aux fonctionnalités Kubernetes natives d’équilibrage de charge, de mise à l’échelle automatique, de limitation du débit et de reconfiguration dynamique.
• Expérimentation de modèles – Mettez en œuvre des déploiements blue-green et canary, ainsi que des tests A/B, afin de déployer de nouvelles versions et mises à niveau sans interruption de service.
• Surveillance des modèles – Collectez, représentez et analysez les métriques des modèles afin de mieux comprendre l’état et les performances de l’application.
• Sécurité des modèles – Configurez l’identité des utilisateurs, l’authentification, les autorisations, le contrôle d’accès basé sur les rôles et les fonctionnalités de chiffrement afin de protéger les applications contre les cybermenaces.

La pile de connectivité NGINX pour Kubernetes comprend le contrôleur Ingress NGINX et F5 NGINX App Protect afin d’assurer des communications rapides, fiables et sécurisées entre les clusters Kubernetes exécutant des applications d’IA/ML et leurs utilisateurs, sur site comme dans le cloud. Elle permet de simplifier et d’optimiser le déploiement des modèles, l’expérimentation, la surveillance et la sécurité dans tout environnement Kubernetes, tout en renforçant les capacités des offres Kubernetes des fournisseurs cloud et des solutions Kubernetes préconfigurées grâce à un niveau supérieur de protection, de disponibilité et d’observabilité à grande échelle.

Démarrer avec NGINX Connectivity Stack for Kubernetes

NGINX propose un ensemble complet d’outils et de composants pour répondre à vos besoins et renforcer la sécurité, l’évolutivité et la visibilité de votre plateforme Kubernetes.

Vous pouvez commencer dès aujourd’hui en demandant un essai gratuit de 30 jours de Connectivity Stack for Kubernetes.

À propos de l’auteur

Ilya KrutovResponsable senior du marketing produit | F5 NGINX

Autres articles de Ilya Krutov