L’impact de l’inférence de l’IA sur l’architecture des centres de données

Lori Mac VittieIngénieur émérite et évangéliste en chef | F5

On dit que c’est dans le budget informatique qu’une stratégie prend vie ou meurt. Si tel est le cas, alors les stratégies d’IA se portent à merveille.

Nos recherches les plus récentes indiquent que les organisations consacrent en moyenne 18 % de leur budget informatique à la seule IA. Mais c’est la manière dont ces 18 % sont répartis qui nous donne un aperçu de leurs stratégies en matière d’IA.

Environ 18 % du budget consacré à l’IA est aujourd’hui alloué aux services d’IA, c’est-à-dire aux applications tierces qui intègrent ou proposent des outils d’IA. Le reste est consacré aux modèles (19 %), au développement (16 %), à la sécurité (9 %), aux technologies de données (11 %) et aux GPU (9 %).

Si l’on ajoute à cela la répartition égale des dépenses entre l’entraînement (50 %) et l’inférence (50 %), ainsi que le constat selon lequel l’IA sera déployée dans le cloud public (80 %) et sur site (54 %), on peut en déduire que les organisations prévoient de faire évoluer considérablement leur infrastructure afin de prendre en charge l’ensemble du cycle de vie de l’IA.

Pour assurer cette prise en charge, il faut notamment repenser le réseau.

Le déploiement de l’infrastructure nécessaire à l’entraînement comme à l’inférence exige de porter une attention particulière aux environnements applicatifs modernes, tels que Kubernetes, ainsi qu’à la circulation du trafic entre les instances d’IA, les modèles et les applications qui les utilisent.

Bien que NVIDIA ne soit pas le seul fournisseur de technologies d’accélération (GPU, DPU, IPU, etc.), l’entreprise fait figure de chef de file en matière d’architecture de référence. C’est dans ces détails que l’on constate des répercussions importantes sur l’architecture réseau et l’évolutivité.

Pods, clusters et usines d’IA

L’utilisation d’une terminologie propre à Kubernetes suscite actuellement une vive inquiétude dans le secteur. Alors que les opérateurs ont fini par bien comprendre ce que recouvrent les notions de pods et de clusters, les principaux fournisseurs de GPU prennent des libertés avec ces définitions lorsqu’il s’agit de déployer l’inférence à grande échelle.

Par exemple, NVIDIA parle de pods d’IA, qui sont en réalité des clusters Kubernetes. Et l’entreprise appelle un ensemble de clusters associés une usine d’IA.

Je ne suis pas ici pour débattre de terminologie — je gagne rarement ce genre de débat —, je préfère donc me concentrer sur ces unités de capacités d’IA et sur ce qu’elles impliquent pour le réseau.

L’une des réalités de la mise à l’échelle de l’IA générative, en particulier, est la demande en cycles de calcul. Plus précisément, en cycles de calcul sur GPU. Pour répondre à cette demande, notamment chez les fournisseurs de services d’IA, il est nécessaire de mettre en place des unités de calcul d’IA complexes. NVIDIA appelle ces unités des « pods d’IA », mais d’autres leur donneront sans doute leurs propres noms. Il s’agit essentiellement de clusters Kubernetes.

Cela implique un trafic est-ouest important au sein de l’unité de calcul d’IA, mais aussi un trafic nord-sud considérable entrant dans ces unités de calcul d’IA. C’est précisément à la frontière entre les infrastructures traditionnelles des centres de données et les nouveaux complexes de calcul d’IA que nous observons une évolution majeure.

Il se passe beaucoup de choses à cette frontière, en particulier pour les fournisseurs de services qui ont besoin d’isoler le réseau de chaque locataire. Les besoins en gestion du trafic de couches 4 à 7 sont également importants, notamment en matière de limitation du débit afin de ne pas saturer les ressources d’IA. À cela s’ajoutent l’équilibrage de charge nécessaire à la mise à l’échelle et à la distribution, ainsi que des services réseau tels que des fonctionnalités CGNAT avancées.

Les entreprises, qui souhaitent déployer leurs implémentations d’IA à grande échelle afin de prendre en charge un éventail croissant de cas d’usage métier — de la productivité à la génération de code et de contenu, en passant par l’automatisation des workflows et, bien sûr, l’intérêt grandissant pour l’utilisation de l’IA dans les opérations — ont elles aussi besoin d’une grande partie de ces fonctionnalités. Si l’isolation par locataire n’est pas nécessairement une exigence pour les entreprises, elle peut néanmoins contribuer à éviter que les charges de travail d’IA hautement prioritaires, telles que l’automatisation et l’analyse opérationnelle, ne soient étouffées par des charges de travail d’IA moins prioritaires.

Qu’il s’agisse d’un fournisseur de services ou d’une entreprise, le réseau du centre de données va connaître des changements majeurs. L’intégration de charges de travail d’IA dans une architecture de centre de données traditionnelle risque de compromettre son évolutivité, voire la fiabilité de son fonctionnement.

Il est important de comprendre les évolutions de l’architecture du centre de données et de disposer d’outils et de technologies comme BIG-IP Next SPK afin de fournir les fonctionnalités nécessaires pour moderniser efficacement le réseau du centre de données, prendre en charge toutes les charges de travail d’IA et répondre aux besoins de l’entreprise qui en dépendra à terme.

À propos de l’auteur

Lori Mac VittieIngénieur émérite et évangéliste en chef | F5

Lori MacVittie est ingénieure émérite et évangéliste en chef au sein du bureau du directeur technique de F5. Elle possède une expertise approfondie dans la fourniture d’applications, les stratégies d’automatisation et les infrastructures. Elle est réputée pour sa capacité à rendre la complexité intelligible, qu’elle définisse des garde-fous pour les agents d’IA, analyse des architectures multicloud fragiles ou explore les limites des systèmes évolutifs. Elle cumule plus de trente ans d’expérience dans le secteur, couvrant le développement d’applications, l’architecture informatique ainsi que l’exploitation des réseaux et des systèmes. Avant de rejoindre F5, elle a été rédactrice spécialisée dans les technologies et a reçu plusieurs distinctions. MacVittie est titulaire d’un master en informatique et est une autrice prolifique dont les publications couvrent la sécurité, le cloud et l’architecture d’entreprise. Elle est également une passionnée de jeux de société et de jeux vidéo, et assume pleinement ses avis bien tranchés sur le fromage.

Autres articles de Lori Mac Vittie