Lors de la NVIDIA GTC, puis à nouveau au CES, NVIDIA a clairement indiqué la direction que prend l’IA d’entreprise : les usines d’IA, c’est-à-dire des infrastructures et des piles logicielles dédiées et validées, conçues pour offrir des performances prévisibles, réduire les coûts et garantir une exploitation fiable pour l’inférence et l’entraînement de l’IA.
NVIDIA Enterprise AI Factory donne vie à cette vision grâce à une conception validée qui associe le calcul accéléré, les réseaux, les logiciels et l’orchestration de NVIDIA au sein d’une solution complète que les entreprises peuvent déployer en toute confiance dans leurs propres locaux. Dans le cadre de cette architecture, NVIDIA continue d’élargir son écosystème de partenaires validés qui répondent à des défis concrets à l’échelle de la production dans l’ensemble de l’infrastructure d’IA.
Aujourd’hui, nous sommes ravis d’annoncer que F5 BIG-IP Next for Kubernetes a été validé pour fonctionner sur des serveurs NVIDIA RTX PRO, équipés de DPU NVIDIA BlueField-3, et qu’il est désormais intégré à la conception validée NVIDIA Enterprise AI Factory. Les clients, qui comptent parmi les plus de 20 000 organisations utilisant actuellement F5 BIG-IP, peuvent étendre en toute simplicité les fonctionnalités éprouvées de F5 BIG-IP lors du déploiement de leurs usines d’IA NVIDIA Enterprise.
“F5 BIG-IP Next for Kubernetes sur NVIDIA BlueField offre une solution validée et prête pour l’entreprise, intégrant une gestion du trafic haute performance, des fonctions de sécurité et des contrôles adaptés à l’IA.”
La conception validée NVIDIA Enterprise AI Factory repose sur des composants reproductibles qui garantissent des performances prévisibles, ainsi que la sécurité et l’évolutivité nécessaires à la mise en production de l’IA en entreprise. Plutôt que d’assembler des solutions ponctuelles, cette architecture définit la manière dont les GPU, les DPU, le réseau et les logiciels fonctionnent de concert au sein d’un système cohérent. L’intégration de F5 à cette conception validée vient conforter cette approche.
Outre la validation de la conception, nous avons réalisé des tests de performance détaillés en laboratoire afin de quantifier les gains réels en matière de performances et d’efficacité obtenus en exécutant BIG-IP Next for Kubernetes, accéléré par les DPU NVIDIA, sur des charges de travail d’inférence d’IA. Les résultats et la méthodologie sont disponibles dans notre rapport « Performances validées pour l’inférence d’IA ».
Pourquoi les usines d’IA ont besoin d’une approche couvrant l’ensemble de la pile technologique
Les performances de l’inférence IA ne dépendent pas uniquement de GPU plus rapides. Elles reposent également sur l’ensemble de la pile technologique capable d’optimiser les systèmes. Dans les environnements de production, le réseau, la sécurité et la gestion du trafic déterminent de plus en plus la vitesse de génération des jetons, la régularité des réponses des modèles et l’efficacité d’utilisation de l’infrastructure.
À mesure que les services d’IA se déploient à grande échelle auprès de différents locataires, modèles et utilisateurs, les entreprises doivent gérer efficacement de multiples éléments. Cet enjeu est particulièrement crucial pour les organisations qui déploient des environnements d’IA sur site ou souverains, où les performances, la gouvernance et le contrôle ne peuvent pas être délégués à des services de cloud public.
Les entreprises doivent notamment optimiser l’utilisation des processeurs hôtes, qui doivent aujourd’hui prendre en charge les tâches de mise en réseau et de sécurité, garantir une latence constante afin d’obtenir un délai optimal avant le premier jeton (TTFT), assurer la visibilité et le contrôle de l’utilisation des jetons, et être en mesure de faire respecter les règles de gouvernance, d’équité et de conformité.
C’est là que les DPU — et les logiciels qui s’exécutent dessus — deviennent des composants fondamentaux de l’usine d’IA.
Décharger les bonnes tâches sur le silicium adapté
F5 BIG-IP Next for Kubernetes accéléré sur les DPU NVIDIA BlueField-3 décharge les fonctions réseau et de sécurité critiques du processeur hôte vers les cœurs ARM programmables et les moteurs d’accélération matérielle du DPU.
Ces services déchargés comprennent l’équilibrage de charge et l’orientation du trafic, la terminaison TLS et le chiffrement, l’application des politiques de pare-feu et de sécurité, ainsi que la protection des API et la détection des intrusions.
En transférant ces fonctions vers les DPU NVIDIA BlueField, les processeurs hôtes sont libérés pour les charges de travail généralistes, tandis que les GPU restent entièrement dédiés à l’inférence d’IA.
Les résultats sont mesurables et significatifs : le débit de génération de jetons augmente de plus de 30 %, tandis que le TTFT diminue jusqu’à 60 %.
Ces gains se traduisent directement par des réponses plus rapides, une meilleure utilisation des modèles et une efficacité accrue de l’infrastructure — exactement ce qu’exigent les usines d’IA d’entreprise.
Au-delà du déchargement : gouvernance des jetons et routage intelligent des LLM
Le délestage n’est qu’un point de départ.
Le plan de données programmable de BIG-IP Next for Kubernetes, exécuté sur des DPU NVIDIA BlueField, permet de proposer des services avancés adaptés à l’IA, qui vont au-delà des réseaux traditionnels.
Gouvernance des jetons intégrée
BIG-IP Next for Kubernetes introduit des fonctionnalités natives de gouvernance des jetons qui permettent aux entreprises de comptabiliser et de suivre les jetons par locataire, par utilisateur ou par modèle, d’appliquer des limites de débit de jetons et des politiques d’utilisation, et de répondre aux exigences de conformité, de refacturation et d’équité.
Alors que la tarification basée sur les jetons devient le modèle économique dominant de l’IA, la gouvernance au niveau de l’infrastructure est essentielle.
Routage intelligent des LLM avec NVIDIA NIM
Grâce à son intégration aux microservices NVIDIA NIM, BIG-IP Next for Kubernetes peut acheminer dynamiquement les requêtes d’inférence vers le modèle le plus approprié en fonction de la complexité de la requête, des exigences de performances ou des contraintes liées aux politiques.
Cela permet d’accélérer les réponses aux requêtes simples, d’optimiser l’utilisation des modèles pour diverses charges de travail et d’appliquer un routage fondé sur des politiques, en adéquation avec les objectifs de coût, de performance et de conformité.
Ensemble, la gouvernance des jetons et le routage intelligent transforment BIG-IP Next for Kubernetes, qui passe d’un composant réseau à un plan de contrôle du trafic d’inférence de l’IA.
Un composant validé de l’usine d’IA d’entreprise NVIDIA
Serveurs NVIDIA RTX PRO, complétés par les DPU NVIDIA BlueField-3, constituent les principaux composants de la plateforme de calcul accéléré de cette architecture complète validée pour les usines d’IA d’entreprise.
BIG-IP Next for Kubernetes étant désormais validé sur NVIDIA BlueField et intégré à la conception d’usines d’IA d’entreprise, les clients bénéficient d’une couche réseau et de sécurité optimale, prête pour la production, qui garantit des performances déterministes pour les charges de travail d’IA. Ils profitent également d’une meilleure efficacité des GPU et des CPU, ainsi que de contrôles intégrés pour la gestion des coûts liés aux jetons et la gouvernance.
Cette validation renforce la vision commune de F5 et NVIDIA : l’infrastructure d’IA doit être conçue, et non simplement assemblée.
Perspectives
À mesure que les entreprises passent de l’expérimentation en matière d’IA à des usines d’IA en production, la pile d’infrastructure doit évoluer afin de garantir les performances, l’efficacité et la gouvernance à grande échelle. Tandis que NVIDIA poursuit le développement de l’Enterprise AI Factory, F5 étendra son rôle dans la gestion du trafic, la sécurité et les contrôles adaptés à l’IA afin de prendre en charge à grande échelle les plateformes d’inférence de nouvelle génération.
F5 BIG-IP Next for Kubernetes sur les DPU NVIDIA BlueField répond précisément à ces besoins en réunissant une gestion du trafic haute performance, des fonctions de sécurité et des contrôles adaptés à l’IA au sein d’une solution validée et prête pour l’entreprise.
Nous sommes fiers de collaborer avec NVIDIA au sein de l’écosystème Enterprise AI Factory et nous réjouissons à l’idée de renforcer nos efforts conjoints en matière d’innovation et de commercialisation dans les mois à venir.
En savoir plus sur la conception validée NVIDIA Enterprise AI Factory et découvrir comment F5 s’y intègre.
À propos de l’auteur
Articles de blog associés
F5 NGINXaaS pour Google Cloud : des applications résilientes et évolutives
Découvrez comment NGINXaaS s’intègre à Google Cloud pour renforcer les performances et la sécurité, et préparer vos applications critiques à un avenir propulsé par l’IA.
L’intégration de F5 Web Application Firewall (WAF) à AWS est disponible dès aujourd’hui
En faisant appel à un partenaire de déploiement AWS WAF tel que F5, vous pouvez renforcer la sécurité de vos applications web grâce à des règles personnalisées qui bloquent les schémas d’attaque courants, comme les injections SQL ou les attaques par scripts intersites (XSS).
Appliquer le principe de Peter Parker à l’inspection TLS
« Un grand pouvoir implique de grandes responsabilités. » Si l’on en trouve des échos chez Voltaire et Churchill, cette citation est surtout connue grâce aux bandes dessinées Spider-Man, où elle est attribuée à l’oncle Ben. Bien entendu, si cette phrase est si répandue dans la culture populaire, c’est notamment parce qu’elle peut s’appliquer à une multitude de situations et de sujets, y compris à l’inspection TLS.
Le NetOps a besoin de défenseurs, pas d’adversaires
Il est important de reconnaître que les équipes NetOps ne sont pas toujours celles qui font obstacle au déploiement de la dernière nouveauté, application ou service. Les freins à la rapidité sont souvent dus au fait que les organisations n’adoptent pas tous les principes du DevOps lorsqu’elles cherchent à transformer leurs opérations informatiques.
Mise à jour des services applicatifs : sécurité, rapidité et visiteurs suspects
Il est de nouveau temps de nous pencher sur les services applicatifs que les entreprises utilisent réellement pour rendre leurs applications plus rapides et plus sûres. On constate notamment une hausse du recours aux services de protection contre les bots, ainsi que la progression lente mais régulière de HTTP/2. Bien qu’il ne s’agisse pas d’une application…
Les templates prennent le contrôle du cloud
Les modèles s’imposent dans le cloud. Lisez le blog de F5 pour découvrir comment l’infrastructure en tant que code et les API déclaratives automatisent la mise à disposition des applications.