Pour la majorité des organisations, Kubernetes est la plateforme de prédilection pour déployer et gérer des charges de travail conteneurisées. Mais les charges de travail d’IA introduisent de nouveaux niveaux de complexité par rapport aux microservices classiques, qui sont plus cohérents et prévisibles. Si les organisations ne sont pas conscientes de ces défis, elles risquent de s’exposer à des dépassements de coûts, à une mauvaise utilisation des ressources et à des vulnérabilités de sécurité qui ralentissent l’IA, réduisent la valeur générée et amplifient les risques. Pour protéger leurs investissements, les organisations doivent adopter une approche plus intelligente de leur utilisation de Kubernetes pour l’IA.
Les défis liés à l’utilisation de Kubernetes pour l’IA
L’IA se distingue des charges de travail traditionnelles. Les requêtes peuvent aller de simples demandes textuelles à des analyses multimédias, ce qui entraîne des besoins variables en ressources GPU. Les contrôleurs d’entrée des conteneurs ont du mal à tenir compte de la disponibilité des GPU. Par conséquent, la répartition par défaut de type round-robin entraîne la saturation de certains GPU, tandis que d’autres restent sous-utilisés.
L’IA repose également sur un réseau complexe de services distribués et d’API, plus difficile à gérer et présentant une surface d’attaque plus étendue et plus difficile à sécuriser. Cette complexité fait de l’IA une cible de choix, et les cybercriminels utilisent les modèles d’IA eux-mêmes comme vecteurs d’attaque. Des techniques telles que l’injection de prompts et la manipulation de modèles contournent les mécanismes de sécurité traditionnels afin d’extraire des données sensibles de l’IA. Les attaquants peuvent également submerger l’IA de prompts erronés pour dégrader la réactivité des modèles et épuiser davantage vos ressources. La sécurité Kubernetes traditionnelle n’est pas conçue pour faire face à ce type d’attaques.
Pour déployer dans Kubernetes une IA véritablement dynamique, efficace et sécurisée, vous avez besoin d’une gestion du trafic qui réponde aux besoins propres à l’IA et répartisse les charges de travail en conséquence. Cela implique de tenir compte de la complexité des requêtes et de la disponibilité des GPU, ainsi que de la relation non linéaire entre les ressources et le débit de l’IA. Des contrôles de sécurité natifs pour les conteneurs sont indispensables afin de protéger les modèles d’IA et d’éviter qu’ils ne deviennent des points d’accès permettant des utilisations non autorisées et des pratiques abusives.
Diffusion sécurisée et optimisée de l’IA dans Kubernetes
Les solutions F5 complètent vos déploiements Amazon Elastic Kubernetes Service (EKS) en comblant les lacunes en matière d’exploitation, de sécurité et de performances.
F5 NGINX Ingress Controller fournit des fonctionnalités d’entrée et d’équilibrage de charge adaptées à l’IA, avec une prise en charge de la reconfiguration dynamique afin de maintenir la disponibilité lors des pics de demande et des défaillances de pods. Vos équipes bénéficient également d’outils prenant en charge les stratégies de déploiement bleu-vert et canari, ainsi que les tests A/B, pour fluidifier les déploiements et les efforts d’optimisation.
F5 NGINX App Protect fournit un pare-feu d’applications web (WAF) léger, une protection contre les attaques par déni de service distribué (DDoS) de couche 7 et une sécurité des API. Cette offre est intégrée à F5 NGINX Plus avec NGINX Ingress Controller et s’adapte de manière fluide à vos clusters Kubernetes.
F5 fournit une gestion et une protection du trafic adaptées à l’IA pour Amazon EKS.
Adaptez Kubernetes à l’IA distribuée
F5 AI Gateway constitue une autre option pour faciliter le déploiement de services d’IA dans Kubernetes au sein de votre environnement multicloud hybride. Vous bénéficiez de fonctionnalités de gestion du trafic adaptées à l’IA, notamment la mise en cache sémantique, qui réutilise les réponses aux prompts pour des requêtes similaires afin de réduire les traitements redondants et d’économiser des jetons.
Des protections multicouches permettent de se prémunir contre les menaces propres à l’IA, notamment celles du Top 10 de l’OWASP pour les LLM, tout en empêchant les fuites de données sensibles et les hallucinations dans les réponses sortantes. AI Gateway prend en charge les principales plateformes d’IA, notamment OpenAI, Anthropic et Ollama, ainsi que les modèles de langage basés sur HTTP, afin d’assurer une protection homogène quel que soit le lieu de déploiement.
F5 AI Gateway simplifie le déploiement de l’IA dans les environnements multicloud hybrides.
Obtenez de meilleurs résultats grâce à une approche adaptée à l’IA
En déployant les solutions F5 avec Amazon EKS, vous bénéficiez d’une gestion intelligente du trafic qui accélère les temps de réponse des modèles et offre une protection contre les menaces propres à l’IA. Et ce ne sont là que quelques-uns des avantages :
- Répartition de la charge de travail adaptée à l’IA. L’équilibrage de charge selon le temps de réponse minimal et les contrôles d’intégrité actifs dirigent les requêtes d’IA vers les services les plus réactifs.
- Observabilité complète. Les solutions F5 mettent en évidence des indicateurs clés tels que le volume de requêtes, l’utilisation des jetons, la latence d’inférence et les statistiques de performance des modèles afin de soutenir vos efforts d’optimisation.
- Protection du trafic. La limitation du débit empêche l’utilisation abusive des ressources, les disjoncteurs isolent les défaillances et la mise en mémoire tampon des requêtes aide à gérer les pics de trafic.
- Atténuation des menaces propres à l’IA. Des protections intégrées bloquent les attaques visant les modèles d’IA tout en empêchant les fuites de données sensibles.
- Gestion des identités et contrôles d’accès. La prise en charge des jetons Web JSON, d’OpenID Connect et du contrôle d’accès basé sur les rôles (RBAC) garantit que seuls les utilisateurs et services autorisés peuvent accéder aux points de terminaison d’IA.
Optimisez dès aujourd’hui vos charges de travail d’IA dans Kubernetes
En matière d’IA, aucune optimisation ne doit être négligée. Les solutions F5 fonctionnent de manière homogène dans tous les environnements, qu’il s’agisse d’AWS, d’une infrastructure sur site ou d’un multicloud hybride, et répondent aux défis spécifiques de l’IA dans Kubernetes.
Permettez à votre IA de fonctionner de manière fluide et fiable, tout en bénéficiant d’une protection renforcée contre les menaces d’aujourd’hui et de demain. Chaque avantage que vous obtenez vous rapproche un peu plus de la réussite de vos projets d’IA dans cet environnement hautement concurrentiel et en constante évolution.
En savoir plus sur F5 sur Amazon Web Services (AWS).
À propos de l’auteur
Articles de blog associés
Tendances actuelles des technologies cloud natives, de l’ingénierie de plateforme et de l’IA
Découvrez les principaux enseignements tirés des réponses à l’enquête annuelle F5 NGINX sur les dernières tendances en matière de technologies cloud natives, de sécurité, d’ingénierie de plateforme et d’IA.
Quels contrôleurs Ingress NGINX sont affectés par les vulnérabilités CVE-2022-4886, CVE-2023-5043 et CVE-2023-5044 ?
Lorsque de nouvelles CVE sont signalées, il est facile de ne plus savoir si elles concernent un outil de contrôleur Ingress NGINX particulier, car il existe plusieurs projets. Cet article présente les CVE et explique comment distinguer les différents projets de contrôleurs Ingress afin de dissiper toute confusion.
Votre API est-elle en temps réel ? Testez sa latence avec l’outil rtapi de NGINX
Votre API répond-elle aux requêtes en moins de 30 ms ? Si ce n’est pas le cas, il ne s’agit pas d’une API en temps réel offrant la faible latence exigée par la grande majorité des organisations. Mesurez la latence de votre API avec l’outil rtapi de NGINX et découvrez comment NGINX peut l’aider à offrir une réactivité en temps réel.
Un testeur d’expressions régulières pour NGINX et NGINX Plus
Le testeur d’expressions régulières (regex) pour NGINX et NGINX Plus vous évite de tâtonner en vous indiquant si une expression régulière utilisée dans un bloc location ou map correspond aux valeurs comme prévu. Il génère la configuration appropriée et affiche les valeurs des groupes de capture.
Caches partagés avec les clusters de cache NGINX Plus, partie 1
Optimisez la capacité de votre cache web en le répartissant entre plusieurs serveurs de cache web NGINX ou NGINX Plus. Découvrez comment procéder dans cet article.
Introduction aux microservices
Les microservices suscitent actuellement beaucoup d’intérêt. Cet article de blog est le premier d’une série de sept consacrée à la conception, au développement et au déploiement de microservices.