Comment F5 NGINX Plus optimise les clusters d’IA

Liam CrillyDirecteur senior de la gestion des produits

Au cours de la dernière décennie, NGINX Open Source a été l’un des serveurs web les plus utilisés au monde et l’une des principales solutions de mise à disposition d’applications en termes de parts de marché. Il a permis d’assurer l’équilibrage de charge et le proxy inverse pour toutes sortes d’acteurs, des petites start-up et des projets de recherche universitaire à certaines des plus grandes applications web au monde.

Tout comme il s’est imposé comme un choix par défaut pour la mise à disposition d’applications, NGINX est discrètement devenu un maillon essentiel de l’entraînement et du déploiement des applications d’IA. Les principaux frameworks, boîtes à outils, bibliothèques et plateformes d’IA — notamment Intel OpenVINO Model Server, NVIDIA Morpheus, vLLM de Meta et NVIDIA Triton — sont fournis avec des configurations natives pour F5 NGINX Plus (et NGINX Open Source), permettant de gérer immédiatement le proxy gRPC/HTTP, la terminaison SSL/TLS, l’équilibrage de charge tenant compte des contrôles d’intégrité et la reconfiguration dynamique. De nombreux services et solutions d’IA exécutés sur des clusters Kubernetes citent F5 NGINX Ingress Controller parmi leurs options privilégiées pour gérer le trafic entrant et sortant des clusters d’IA, aussi bien pour l’entraînement des modèles que pour l’inférence. En y regardant de plus près, vous constaterez qu’il est présent presque partout où l’IA est utilisée.

Dans un large éventail de cas d’usage de l’IA, NGINX joue un rôle clé au sein de la pile technologique. Que vous affiniez des modèles de fondation, diffusiez en continu les jetons générés par des LLM ou acheminiez des requêtes vers des points de terminaison de détection d’anomalies en temps réel, il y a de fortes chances que NGINX soit déjà sur leur chemin.

Pourquoi les équipes d’IA choisissent NGINX Plus

• Ingress natif pour Kubernetes : aujourd’hui, la plupart des plateformes d’IA s’exécutent sur Kubernetes, et NGINX reste la solution d’ingress par défaut ou privilégiée dans des outils tels que Run:ai, KServe et Ray Serve. À mesure que les applications d’IA s’étendent aux environnements hybrides, multicloud et edge, NGINX Gateway Fabric propose une implémentation de l’API Gateway native pour Kubernetes, avec une empreinte légère et un contrôle précis du trafic, permettant ainsi aux équipes d’IA de mieux maîtriser le routage, les nouvelles tentatives et l’observabilité, sans ajouter la complexité d’un maillage de services.
• Déploiements dynamiques à grande échelle : les charges de travail d’inférence d’IA impliquent souvent des sessions à forte valeur ajoutée, mobilisant des GPU, qui nécessitent une gestion rigoureuse des versions et une disponibilité continue. NGINX prend en charge le rechargement dynamique de la configuration, la répartition pondérée du trafic et les contrôles d’intégrité actifs, ce qui permet aux équipes de déployer de nouvelles versions de modèles en toute sécurité, sans perturber les sessions en cours ni saturer les files d’attente des GPU.
• Gestion des API prête pour la production: Les serveurs de modèles tels que Triton, vLLM et OpenVINO s’appuient sur gRPC ou HTTP/2 pour assurer des communications rapides et structurées. NGINX offre une prise en charge mature et hautement performante de ces protocoles, ainsi que la réutilisation des connexions, la persistance des sessions, la terminaison TLS et la mise en mémoire tampon des requêtes, autant de fonctionnalités essentielles pour gérer un trafic d’inférence d’IA en rafales ou de longue durée.
• Contrôle opérationnel : NGINX Plus donne accès à des fonctionnalités avancées telles que la mise à jour des configurations via une API RESTful, la gestion en temps réel des serveurs en amont et un pare-feu applicatif web (WAF) de niveau entreprise. Pour les équipes qui gèrent des dizaines, voire des centaines d’instances NGINX réparties sur plusieurs clusters, F5 NGINX One propose une console centralisée permettant de gérer les configurations, l’état de santé et les politiques de sécurité — une solution idéale pour les équipes prenant en charge plusieurs types de modèles ou cas d’usage de l’IA présentant des profils d’accès et de risque différents.
• F5 AI Gateway: spécialement conçu pour les charges de travail d’IA, l’AI Gateway étend NGINX en adoptant une approche axée sur la sécurité du trafic d’IA. Il comprend des protections personnalisables contre l’injection de prompts et les contenus toxiques, ainsi que des mécanismes de limitation du débit et des quotas d’utilisation afin d’empêcher le scraping, la saturation ou les requêtes incontrôlées dans les environnements aux ressources GPU limitées. Différentes règles de sécurité peuvent être appliquées aux différentes routes d’inférence : par exemple, des politiques plus strictes pour les modèles génératifs, tout en conservant des API vectorielles plus permissives. L’ensemble du trafic peut être journalisé au niveau des jetons ou des requêtes, afin d’alimenter les pipelines d’observabilité et de répondre aux exigences d’audit.

Les principaux frameworks, outils et services managés d’IA intègrent NGINX

NGINX est l’une des solutions d’entrée par défaut pour bon nombre des principales plateformes, outils et services managés d’AIOps.

Framework d’IA

Comment NGINX est utilisé

Avantage pratique

Intel OpenVINO Model Serve Une démonstration de F5 et Intel déploie des fragments de modèle derrière NGINX Plus (YouTube) Une seule passerelle peut acheminer les requêtes vers des back-ends CPU, GPU ou VPU.NVIDIA Triton Le chart Helm installe Triton avec NGINX Plus Ingress pour l’accès gRPC (GitHub) Le multiplexage HTTP/2 maintient un taux d’utilisation élevé des GPU.NVIDIA Morpheus Le guide « How I Did It » sécurise Morpheus via NGINX Plus Ingress (F5 Community) Déchargement TLS et WAF adaptatif en amont de l’inférence de sécurité en temps réel. NVIDIA (XLIO) Guide de déploiement de NGINX sur NVIDIA Accelerated IO (XLIO) (docs.nvidia.com) Déchargement TLS amélioré et optimisation des performances, avec notamment des instructions de compilation prenant en charge OpenSSL et des exemples de fichiers. Meta vLLM La documentation officielle explique comment répartir la charge entre plusieurs instances vLLM via NGINX (vLLM) Mise à l’échelle horizontale rapide des points de terminaison de génération de texte.

Les équipes MLOps peuvent intégrer les produits NGINX pour les mêmes raisons que celles qui gèrent des microservices et des API — deux composants essentiels aux déploiements d’IA — ont adopté NGINX. Léger, modulaire et portable, NGINX prend en charge d’importants volumes de jetons dans une grande variété d’environnements. Les développeurs en IA et les ingénieurs en apprentissage automatique peuvent déployer NGINX lors de la mise en place de leurs configurations d’IA courantes, en utilisant une image de conteneur configurée par leur équipe chargée de la plateforme ou du MLOps. NGINX s’intègre aux solutions d’accélération matérielle sur la plupart des plateformes et architectures de processeurs courantes.

Les composants d’IA qui proposent NGINX comme option par défaut couvrent l’ensemble de l’infrastructure d’IA, de la planification des GPU à bas niveau au service de modèles à haut niveau, en passant par l’orchestration des déploiements et la gouvernance adaptée aux exigences des entreprises. Ensemble, ils montrent comment NGINX répond à un large éventail de cas d’usage : acheminer de manière sécurisée le trafic vers les points de terminaison d’inférence, assurer une mise à disposition évolutive et efficace des modèles, gérer l’accès aux clusters mutualisés et appliquer des politiques opérationnelles en matière de contrôle des versions, d’audit et de conformité réglementaire.

• KServe: Les guides de déploiement supposent qu’un domaine NGINX Ingress Controller existe déjà pour acheminer le trafic vers les services d’inférence.
• Ray Serve: La documentation comprend des instructions pour configurer NGINX Ingress Controller afin de rendre accessibles les tableaux de bord et les points de terminaison des modèles.
• Seldon Core v2: Les chapitres consacrés au déploiement en production expliquent comment configurer NGINX Ingress Controller via Helm, notamment pour les scénarios de trafic canari et de trafic fantôme.
• Run:ai: les prérequis indiquent que NGINX est un contrôleur d’entrée validé pour les clusters Kubernetes mutualisés avec partage de GPU.
• AWS SageMaker: La documentation fournit des exemples d’utilisation de NGINX et Gunicorn comme serveurs frontaux pour des conteneurs d’inférence personnalisés.
• Azure AKS: Microsoft propose un contrôleur d’entrée NGINX managé, intégré et prêt à l’emploi, pour le trafic entrant au sein du cluster.
• DataRobot: Les instructions d’installation recommandent d’utiliser le contrôleur d’entrée NGINX (v4.0.0 ou version ultérieure) pour le routage basé sur les chemins vers les serveurs de prédiction portables sur EKS.

NGINX ouvre la voie vers le MLOps

Ensemble, ces plateformes et outils couvrent tout le spectre de l’infrastructure d’IA, de l’ordonnancement des GPU à bas niveau au service de modèles à haut niveau, en passant par l’orchestration des déploiements et la gouvernance adaptée aux exigences des entreprises. Ils illustrent la manière dont NGINX prend en charge un large éventail de cas d’usage : acheminement sécurisé du trafic vers les points de terminaison d’inférence, diffusion évolutive et efficace des modèles, gestion de l’accès aux clusters mutualisés et application de politiques opérationnelles en matière de contrôle des versions, d’audit et de conformité réglementaire. Cette liste ne cesse de s’allonger, et nous avons hâte de découvrir ce que la prochaine génération d’entreprises spécialisées dans l’IA concevra avec NGINX.

Obtenez de l’aide pour faire évoluer votre IA avec F5 NGINX One.

À propos de l’auteur

Liam CrillyDirecteur senior de la gestion des produits

Autres articles de Liam Crilly