Le secteur entre dans une nouvelle phase de l’infrastructure d’IA.
La première vague de l’IA générative s’est concentrée sur la création et l’entraînement de modèles. La phase suivante consiste à exploiter l’IA à grande échelle. Les entreprises, les hyperscalers et une nouvelle génération de fournisseurs de néoclouds construisent ce que nous appelons des « usines d’IA ». Ces environnements sont conçus pour générer des jetons de manière aussi efficace, fiable et sécurisée que possible.
Dans ces environnements, chaque milliseconde de latence et chaque point de pourcentage d’utilisation des GPU comptent.
Lors des tests réalisés par The Tolly Group, F5 BIG-IP Next for Kubernetes exécuté sur des DPU NVIDIA BlueField a offert un débit de jetons jusqu’à 40 % supérieur, un délai avant le premier jeton réduit de 61 % et une latence des requêtes réduite de 34 % par rapport aux solutions traditionnelles d’équilibrage de charge.
Les GPU comptent parmi les composants les plus coûteux des centres de données modernes. Lorsque les requêtes sont acheminées de manière inefficace ou que les GPU sont sous-utilisés, les entreprises gaspillent de fait des ressources de calcul et de l’argent.
Pourtant, de nombreux déploiements d’IA reposent encore sur un équilibrage de charge traditionnel de type round-robin, qui répartit les requêtes sans tenir compte de l’état en temps réel de l’infrastructure GPU. Cette approche convenait bien aux applications web traditionnelles, mais elle n’est pas adaptée à l’inférence d’IA.
L’importance d’une infrastructure tenant compte des GPU
Les environnements d’inférence d’IA sont fondamentalement différents des architectures applicatives traditionnelles.
Les clusters d’inférence sont constitués de pools de GPU exécutant de grands modèles de langage et d’autres charges de travail d’IA. À tout moment, chaque GPU peut traiter des charges de travail très différentes en fonction de facteurs tels que la profondeur de la file d’attente, le temps d’exécution du modèle, la longueur des séquences de jetons générées et l’utilisation de la mémoire.
Lorsque le trafic est réparti sans tenir compte de la charge, les requêtes peuvent facilement être acheminées vers des GPU déjà très sollicités, tandis que d’autres accélérateurs restent sous-utilisés. Il en résulte une latence de réponse accrue et une utilisation inefficace de l’infrastructure.
C’est pourquoi l’infrastructure d’IA doit tenir compte des charges de travail.
Chez F5, nous pensons que la couche d’infrastructure doit évoluer afin de pouvoir répartir intelligemment les requêtes d’inférence d’IA en fonction des conditions de l’environnement en temps réel.
Validation indépendante par The Tolly Group
Afin de mieux comprendre l’impact de l’équilibrage de charge tenant compte des GPU, nous avons chargé The Tolly Group, une société indépendante de validation technologique, d’évaluer notre approche par rapport aux solutions traditionnelles d’équilibrage de charge.
Les résultats ont été éloquents. Lors des tests menés par The Tolly Group, F5 BIG-IP Next for Kubernetes exécuté sur des DPU NVIDIA BlueField a permis d’atteindre jusqu’à :
- Débit de jetons supérieur de 40 %
- Temps d’obtention du premier jeton réduit de 61 %
- Latence des requêtes réduite de 34 %
Ces améliorations ont été mesurées par rapport à des solutions d’équilibrage de charge open source largement utilisées.
Une observation intéressante issue des tests est que les avantages étaient encore plus marqués avec les modèles de plus petite taille, pour lesquels une répartition efficace du trafic peut avoir un impact encore plus important sur les performances du système.
Décharger le traitement de l’infrastructure grâce aux DPU
Une autre dimension importante de cette architecture est le déchargement du traitement de l’infrastructure.
Dans de nombreux déploiements actuels, les fonctions de gestion du trafic s’exécutent directement sur le processeur du serveur, parallèlement aux charges de travail d’IA. De précieuses ressources processeur sont donc mobilisées par des tâches d’infrastructure plutôt que par les charges de travail applicatives.
En exécutant F5 BIG-IP Next for Kubernetes sur des DPU NVIDIA BlueField, les fonctions de gestion du trafic peuvent être transférées du processeur du serveur vers le DPU.
Lors des tests réalisés par The Tolly Group, la différence était significative. BIG-IP Next for Kubernetes exécuté sur des DPU Nvidia BlueField nécessitait environ 2 cœurs de processeur, contre près de 12 pour l’équilibrage de charge traditionnel basé sur le processeur.
Cela représente une réduction d’environ 80 % de l’utilisation du processeur, ce qui permet de conserver ces ressources processeur disponibles pour d’autres charges de travail.
L’avenir de l’infrastructure de l’IA
À mesure que les usines d’IA se développeront, l’efficacité de l’infrastructure deviendra l’un des principaux facteurs déterminant la réussite des déploiements d’IA.
Les organisations devront maximiser l’utilisation des GPU, réduire la latence, améliorer le débit de jetons et garantir la sécurité ainsi que l’isolation de l’infrastructure. Pour atteindre ces objectifs, elles auront besoin d’une infrastructure capable de comprendre la dynamique des charges de travail d’IA. L’équilibrage de charge tenant compte des GPU et l’infrastructure accélérée par DPU constituent des étapes importantes vers cet avenir.
Chez F5, nous sommes convaincus que les infrastructures intelligentes joueront un rôle central dans l’essor de la prochaine génération d’usines d’IA. Les résultats validés par The Tolly Group constituent une avancée prometteuse dans cette direction. Vous pouvez obtenir une copie intégrale du rapport ici.
N’oubliez pas non plus de consulter la page web F5 BIG-IP Next for Kubernetes.
À propos de l’auteur
Articles de blog associés
F5 rejoint le projet PQC du NIST pour contribuer à l’élaboration de normes résistantes aux attaques quantiques
En rejoignant le consortium du projet « Migration to PQC » du NIST, F5 contribue à élaborer des recommandations pratiques pour un monde résistant aux menaces quantiques.
La dernière version de F5 Distributed Cloud Bot Defense offre des fonctionnalités et des améliorations de nouvelle génération
Les mises à jour de la console de F5 Distributed Cloud Bot Defense améliorent la gestion des menaces automatisées et l’intégration dans des cadres de sécurité plus larges.
La nouvelle surface de risque liée à l’IA : invisible, autonome et déjà à l’intérieur
James White, vice-président de l’ingénierie chez F5 À mi-parcours de l’année 2025, le moment est bien choisi pour dresser un état des lieux de l’adoption de l’IA en entreprise et de la sécurité de l’IA. L’utilisation de l’IA générative est désormais la norme dans les entreprises De manière générale, les entreprises possèdent au moins une compréhension élémentaire de l’IA générative. Elles savent ce qu’elle est et où elle peut […]
Évaluation des LLM : renforcer la confiance grâce à la notation de sécurité
À mesure que l’adoption de l’IA s’accélère dans les entreprises, l’évaluation des LLM ne porte plus uniquement sur leurs performances, mais aussi sur la confiance qu’ils inspirent. Les équipes de sécurité doivent évaluer non seulement les performances d’un modèle, mais aussi la sûreté de son comportement. Pourtant, la plupart des cadres d’évaluation se concentrent sur des critères de précision, laissant les facteurs de sécurité et de risque dans le flou ou sans mesure.
Évaluer le niveau de préparation de votre organisation à la sécurité de l’IA
Dans un paysage de l’intelligence artificielle (IA) en constante évolution, il est non seulement important, mais impératif de savoir si votre organisation est prête à instaurer et à soutenir une culture de la sécurité de l’IA. À mesure que les technologies d’IA progressent, elles font émerger une multitude de nouveaux défis de sécurité qui, pour être gérés efficacement, exigent une approche réfléchie, globale et proactive […]
Déployer des LLM en entreprise : via une API dans un cloud privé
Pris isolément, sans mesures de protection spécialisées ni protocoles de sécurité en place, le déploiement de modèles d’IA générative (GenAI), en particulier de grands modèles de langage (LLM), à l’échelle de l’entreprise représente pour toute organisation une opportunité à haut risque, mais potentiellement très rentable. La manière précise dont votre organisation doit franchir ce grand pas dans l’univers de la GenAI nécessite une planification mûrement réfléchie. Peut-être serait-il […]