F5 fait évoluer l’inférence de l’IA de l’intérieur vers l’extérieur

Lori Mac VittieIngénieur émérite et évangéliste en chef | F5

La renaissance des infrastructures a son slogan : laissons les serveurs servir et l’inférence inférer.

Aux débuts de l’informatique, j’ai passé des années plongé dans les tests et l’analyse des accélérateurs SSL. Ces petites cartes étaient conçues pour résoudre un problème majeur apparu avec la croissance fulgurante des activités et du commerce numériques : les fonctions de sécurité utilisant SSL consommaient des cycles processeur et constituaient une source importante de problèmes de performances. Le secteur, y compris F5, a donc développé du matériel permettant de décharger ces fonctions et de laisser les serveurs faire leur travail.

Aujourd’hui, nous voyons les mêmes problèmes apparaître avec l’IA — plus précisément avec l’inférence — et, sans ironie, nous voyons émerger le même type de solutions, à savoir du matériel spécialisé qui laisse les serveurs assurer leur fonction et l’inférence réaliser les inférences.

Ouais, je ne suis pas sûr que ce soit grammaticalement correct, mais gardons ça comme ça pour l’instant, d’accord ? Merki.

Comme nous l’avons souligné, les applications d’IA sont des applications modernes de par leur architecture. Mais l’inférence est au cœur d’une application d’IA, et c’est là que l’IA se distingue des applications modernes « normales ».

L’inférence en action

Nous avons vu comment les complexes de calcul dédiés à l’IA sont constitués de batteries de CPU et de GPU. Ces ressources de calcul doivent respecter certains ratios et équilibres pour que le cluster fonctionne efficacement. Chaque fois qu’un CPU ne parvient pas à suivre, un GPU très coûteux reste inutilisé.

En effet, seule une partie des traitements effectués par un serveur d’inférence concerne réellement l’inférence. Une grande partie consiste en un traitement web standard des requêtes HTTP et API. C’est cette partie du service d’inférence qui sollicite le CPU et se retrouve souvent surchargée. Lorsque cela se produit, les GPU sont de moins en moins utilisés, car la partie serveur de l’inférence s’enlise dans le traitement des requêtes.

C’est probablement la raison pour laquelle 15 % des organisations déclarent utiliser moins de 50 % des GPU dont elles disposent et qu’elles ont achetés (État des infrastructures d’IA à grande échelle en 2024).

Une partie du problème tient ici à l’utilisation des ressources CPU pour des tâches qui devraient être prises en charge par l’infrastructure. Des services tels que la gestion du trafic, les opérations de sécurité et la supervision consomment eux aussi des ressources CPU et contribuent à la charge globale du système. Cela réduit la capacité et les performances des serveurs d’inférence, ainsi que le taux d’utilisation des ressources GPU.

Heureusement, cette renaissance de l’infrastructure vise précisément à préserver les ressources du CPU pour les tâches d’inférence en déléguant les opérations d’infrastructure à une nouvelle unité de traitement : le DPU.

Ce qui est intéressant avec les DPU, c’est qu’ils prennent en charge deux modes distincts. Dans l’un d’eux, ils peuvent décharger les tâches réseau, telles que le RDMA sur InfiniBand ou Ethernet. Cela s’avère extrêmement utile lors de la mise en place d’une infrastructure de calcul dédiée à l’IA, au sein de laquelle d’importants volumes de données doivent circuler, par exemple pour entraîner un modèle d’IA ou déployer l’inférence à grande échelle pour une vaste base d’utilisateurs.

Mais les DPU peuvent également être configurés en mode « DPU ». Dans Kubernetes, ils apparaissent alors comme un nœud distinct sur lequel peuvent s’exécuter des fonctions telles que la mise à disposition des applications et la sécurité. Cela permet de réserver les ressources de calcul des CPU aux services d’inférence en « déchargeant » les charges de travail d’infrastructure, moins prévisibles et plus exigeantes, vers leur propre nœud au sein du cluster. Des solutions telles que F5 BIG-IP Next SPK (Service Proxy for Kubernetes) peuvent ainsi gérer et sécuriser les requêtes d’IA entrantes nord-sud via une API, puis les distribuer correctement au service d’inférence approprié au sein du complexe de calcul d’IA.

Cette approche permet aux organisations de tirer parti de leurs connaissances et investissements existants dans la gestion des infrastructures Kubernetes, car notre solution est native de Kubernetes. Cœur de réseau, cloud ou périphérie : peu importe, puisque les opérations s’effectuent au niveau du cluster, de manière cohérente dans tous les environnements.

Cette approche permet également de dissocier la gestion de la fourniture des applications et des services de sécurité, afin que les équipes chargées des opérations réseau et de sécurité puissent gérer l’infrastructure indépendamment des charges de travail d’IA prises en charge par les équipes DevOps et MLOps.

Enfin, l’utilisation du DPU pour la fourniture d’applications et la sécurité répond mieux aux besoins des entreprises en matière de multitenancy. Il ne s’agit pas seulement d’isoler les charges de travail des clients, mais aussi celles des modèles. Nos recherches montrent que les entreprises utilisent déjà, en moyenne, 2,9 modèles différentsLa possibilité de gérer l’utilisation de chacun d’eux au moyen d’une solution cohérente renforcera la confiance dans la sécurité et la confidentialité des données consommées et générées par chaque modèle.

Ce n’est pas la première fois que F5 collabore avec NVIDIA sur des DPU pour des cas d’usage liés à l’IA. Mais c’est la première fois que nous développons ensemble une solution visant à aider les clients de toutes tailles à mettre en place des infrastructures de calcul IA évolutives et sécurisées, afin qu’ils puissent exploiter la puissance de l’inférence de manière sûre et fiable dans n’importe quel environnement, tout en optimisant l’utilisation des ressources GPU pour éviter qu’elles restent inutilisées.

À propos de l’auteur

Lori Mac VittieIngénieur émérite et évangéliste en chef | F5

Lori MacVittie est ingénieure émérite et évangéliste en chef au sein du bureau du directeur technique de F5. Elle possède une expertise approfondie dans la fourniture d’applications, les stratégies d’automatisation et les infrastructures. Elle est réputée pour sa capacité à rendre la complexité intelligible, qu’elle définisse des garde-fous pour les agents d’IA, analyse des architectures multicloud fragiles ou explore les limites des systèmes évolutifs. Elle cumule plus de trente ans d’expérience dans le secteur, couvrant le développement d’applications, l’architecture informatique ainsi que l’exploitation des réseaux et des systèmes. Avant de rejoindre F5, elle a été rédactrice spécialisée dans les technologies et a reçu plusieurs distinctions. MacVittie est titulaire d’un master en informatique et est une autrice prolifique dont les publications couvrent la sécurité, le cloud et l’architecture d’entreprise. Elle est également une passionnée de jeux de société et de jeux vidéo, et assume pleinement ses avis bien tranchés sur le fromage.

Autres articles de Lori Mac Vittie