Kimi K3 pourrait constituer un nouveau moment Spoutnik pour l’IA. La principale leçon à en tirer ne se résume pas au fait que les modèles à poids ouverts peuvent se rapprocher des modèles propriétaires les plus avancés. Construire le modèle ne représente que la moitié du chemin ; l’autre moitié consiste à le déployer efficacement. K3 transforme à la fois l’infrastructure nécessaire pour fournir une intelligence de pointe et les conditions économiques qui déterminent qui peut le faire de manière rentable.
Kimi K3 est un modèle de type mélange d’experts comptant 2 800 milliards de paramètres. Seuls 16 de ses 896 experts sont activés pour chaque jeton, mais, à cette échelle, leur répartition efficace devient un enjeu système de premier plan. Moonshot AI recommande des configurations de supernœuds comprenant au moins 64 accélérateurs interconnectés au sein d’un domaine de communication à haut débit.
Le modèle est peut-être ouvert. Mais le véritable défi technique et commercial consiste à le déployer de manière fiable, rapide et rentable.
Pour les fournisseurs de GPU, c’est dans cet écart entre les capacités du modèle et la fourniture du service que se situent à la fois les risques et les opportunités. Cette pression ne fera que s’intensifier à mesure que les utilisateurs, les entreprises et les agents autonomes adopteront des modèles ouverts à la pointe de la technologie. Cette évolution transforme le modèle économique des fournisseurs de GPU. Leur réussite dépend non seulement de l’acquisition d’accélérateurs, mais aussi de leur intégration dans des services offrant une latence prévisible, garantissant l’isolation entre locataires, préservant la capacité des hôtes et générant davantage de valeur client pour chaque baie.
“Kimi K3 montre que générer efficacement des jetons ne représente qu’une partie du défi. F5 BIG-IP Next for Kubernetes aide les fournisseurs à fournir ces jetons de manière sécurisée, fiable et rentable.”
L’unité minimale s’agrandit
Une grande partie du marché des GPU dans le cloud s’est développée autour de capacités fragmentées : des GPU individuels et de petites allocations d’un, quatre ou huit accélérateurs. Ces configurations restent utiles pour les modèles plus petits, le développement, l’ajustement fin et de nombreuses charges de travail d’entreprise. Mais elles ne suffisent pas pour proposer efficacement K3 sous la forme d’un point de terminaison unifié à l’échelle des modèles de pointe.
Avec quatre bits par paramètre, les poids nécessitent à eux seuls environ 1,4 téraoctet de stockage, sans compter la mémoire d’exécution, le cache KV et les autres surcoûts liés au service. K3 pousse donc les fournisseurs à proposer des allocations garanties de GPU plus importantes, des domaines de mise à l’échelle à haut débit, des systèmes à l’échelle d’une baie tels que le NVIDIA GB200 NVL72, un placement tenant compte de la topologie, une dissociation des phases de préremplissage et de décodage, ainsi qu’une gestion continue du cache KV.
Cela fait passer l’unité minimale viable pour le déploiement d’un GPU individuel à un supernœud étroitement coordonné. Les capacités auparavant louées par petites tranches devront peut-être être réorganisées en pools dédiés de plus grande taille. Les poids sont partagés, mais l’infrastructure devient plus concentrée et plus coûteuse.
La mise à l’échelle verticale ne représente que la moitié du problème
NVIDIA a développé une architecture de plus en plus sophistiquée pour cette catégorie de charges de travail. NVIDIA TensorRT-LLM Wide Expert Parallelism (Wide-EP) répartit les experts sur de nombreux GPU, ce qui améliore la distribution de la charge et libère davantage de mémoire GPU pour le cache KV. Le service désagrégé sépare le préremplissage du décodage afin que chaque phase puisse être mise à l’échelle indépendamment, tandis que le framework d’inférence NVIDIA Dynamo coordonne le routage des requêtes, l’allocation des GPU, le placement du cache KV et le transfert à haut débit du cache.
Ces technologies optimisent l’exécution des modèles et les communications est-ouest sur l’infrastructure d’interconnexion des GPU. Cependant, chaque requête d’inférence doit toujours entrer dans l’environnement de service et en sortir. Elle doit être reçue d’un utilisateur ou d’un agent, authentifiée, sécurisée, affectée à un locataire, acheminée vers un point de terminaison disponible, surveillée, comptabilisée et traitée conformément à un objectif de niveau de service.
Dans les déploiements à l’échelle d’un rack, les DPU NVIDIA® BlueField® peuvent fournir un domaine d’infrastructure dédié au trafic nord-sud, notamment aux requêtes des utilisateurs, aux réponses sous forme de jetons, à la télémétrie, à l’accès au stockage et aux communications interclusters. À mesure que des modèles tels que Kimi K3 augmentent le débit d’inférence et le trafic global du service, le DPU devient un point de contrôle de plus en plus important pour fournir des services d’IA évolutifs, sécurisés et basés sur Kubernetes.
Le coût caché pour l’hôte
Les processeurs hôtes continuent de prendre en charge le réseau, les proxys, la sécurité, les services Kubernetes, le traitement des requêtes, la télémétrie et d’autres fonctions liées à la charge de travail des GPU. Chaque cœur de processeur mobilisé par l’infrastructure est un cœur qui n’est plus disponible pour les logiciels de mise à disposition des modèles, l’orchestration ou les services qui permettent d’exploiter efficacement de coûteux GPU.
F5 BIG-IP Next for Kubernetes déployé sur des DPU NVIDIA BlueField relève ce défi en transférant sur le DPU le traitement du trafic L4-L7, le chiffrement et les fonctions de sécurité. Lors de tests réalisés par un tiers, un déploiement HAProxy classique mobilisait environ 12 cœurs de processeur hôte, contre environ deux pour BIG-IP Next for Kubernetes sur des DPU NVIDIA BlueField, libérant ainsi près de 10 cœurs par serveur pour l’environnement de diffusion de l’IA.
BIG-IP Next for Kubernetes fournit également sur BlueField une gestion accélérée du trafic, la segmentation, l’isolation des locataires, un pare-feu, une protection contre les attaques DDoS et l’application des politiques, réduisant ainsi la charge liée à la sécurité et au réseau sur les processeurs hôtes. Les services F5 plus étendus peuvent renforcer cette protection grâce à un WAF, à la sécurité des API et à la sécurité de l’IA sur l’ensemble de l’environnement de bout en bout.
De la capacité au service client
Le parallélisme étendu des experts et l’équilibrage de charge entre experts améliorent l’efficacité interne de la mise à disposition des modèles. BIG-IP Next for Kubernetes répond à un défi différent, mais complémentaire : transformer cette capacité en résultats fiables pour les clients.
Lors de tests réalisés par un tiers, BIG-IP Next for Kubernetes sur NVIDIA BlueField a permis d’augmenter jusqu’à 47 % le débit de jetons de sortie, de réduire de 60 % le délai avant le premier jeton et de diminuer de 40 % le coût par jeton. Ces résultats ont été mesurés avec des modèles et des configurations spécifiques et ne doivent pas être interprétés comme des affirmations concernant les performances de Kimi K3. Les résultats obtenus par les clients varieront selon le modèle, le profil de trafic, le matériel et l’architecture de service.
Malgré tout, les résultats montrent qu’une architecture de distribution nord-sud peut améliorer sensiblement le débit des jetons de sortie, le délai avant le premier jeton et le coût par jeton, aidant ainsi les opérateurs à produire, à partir du même environnement GPU, des inférences plus fiables et génératrices de revenus.
Cette distinction est particulièrement importante pour les agents. Les systèmes agentiques créent des chaînes d’appels de modèles, d’invocations d’outils et de décisions interdépendantes. La latence au début d’une étape d’inférence retarde toutes les étapes suivantes. Un délai de 20 secondes peut frustrer un utilisateur humain ; lorsqu’il se répète sur des dizaines d’appels d’agents séquentiels, il peut rendre le service inutilisable sur le plan opérationnel.
Multilocation à l’échelle des modèles de pointe
L’adoption rapide de K3 met en lumière un autre défi : les capacités des modèles peuvent progresser plus vite que l’infrastructure disponible pour les mettre à disposition. Pour atteindre une rentabilité acceptable, les fournisseurs devront mutualiser de vastes systèmes de service entre plusieurs clients. Toutefois, partager un supernœud à l’échelle des modèles de pointe ne se résume pas à répartir la capacité des GPU.
Chaque locataire doit être isolé. Le trafic doit être authentifié et contrôlé. Les politiques de service doivent être appliquées de manière cohérente. Les opérateurs doivent pouvoir suivre la consommation et déterminer si une charge de travail dégrade les performances d’une autre.
BIG-IP Next for Kubernetes intègre la gestion du trafic native de Kubernetes, la segmentation du réseau, l’isolation des locataires, l’application des politiques et l’observabilité au chemin d’infrastructure accéléré. Cela permet de transformer un rack coûteux, simple pool de ressources de calcul non gérées, en un service d’IA sécurisé et différencié.
Un plan de services pour l’inférence
K3 montre pourquoi les usines d’IA ont besoin d’un plan de services d’IA. L’interconnexion scale-up optimise les communications entre GPU. Le logiciel de mise à disposition des modèles exécute l’inférence. Les ordonnanceurs répartissent les charges de travail et allouent les GPU. Le plan de services d’IA régit la manière dont les applications, les agents et les locataires utilisent l’infrastructure.
BIG-IP Next for Kubernetes constitue un moteur central de contrôle du trafic pour ce plan de services, assurant un accès sécurisé aux locataires, la gestion du trafic d’inférence, la résilience des points de terminaison, l’application des niveaux de service, la visibilité sur la consommation, la gestion des politiques et une distribution fiable.
Kimi K3 ne prouve pas que chaque déploiement d’IA nécessite un DPU. Il montre toutefois que l’inférence de pointe devient une problématique système couvrant l’ensemble de la pile technologique et crée précisément les conditions dans lesquelles le traitement par une infrastructure dédiée devient économiquement pertinent.
Le système NVIDIA GB200 NVL72 est conçu pour assurer une inférence efficace des grands modèles à mélange d’experts. F5 BIG-IP Next for Kubernetes, déployé sur des DPU NVIDIA BlueField, aide les fournisseurs à délivrer ces jetons de manière sécurisée, fiable et rentable.
Le modèle est peut-être ouvert, mais sa mise à disposition n’est pas bon marché.
Celui qui rend le rack opérationnel et transforme sa capacité brute en un service mutualisé fiable capte la marge.
Pour en savoir plus, consultez nos pages web consacrées à F5 BIG-IP Next for Kubernetes et à nos solutions d’infrastructure d’IA.
À propos de l’auteur
Articles de blog associés
IA et cybersécurité
Découvrez comment l’IA et la cybersécurité fonctionnent de concert. Découvrez comment l’IA et le machine learning (ML) permettent à votre entreprise de rester sécurisée, efficace et prête à innover avec F5.
Suivre le rythme de l’innovation de pointe ne suffit pas à faire avancer l’entreprise : se préparer à la réglementation de l’IA
À mesure que la réglementation de l’IA évolue, réfléchissez aux mesures de protection que vous pouvez mettre en place dès maintenant.
Les contrôleurs de mise à disposition d’applications reviennent au cœur des priorités stratégiques
L’IA rebat les cartes de la livraison d’applications. Nirav Shah de F5 revient sur la nouvelle étude de Gartner® consacrée aux ADC et explique ce qu’elle implique pour les décisions des entreprises en matière d’infrastructure.
Ce que nos clients nous disent sur l’IA, le multicloud hybride et la sécurité des applications
Le nouveau vice-président senior du marketing produit de F5 explique les pressions liées à l’IA auxquelles sont confrontés les dirigeants d’entreprise et ce dont ils ont besoin pour renforcer leur organisation.
Cinq niveaux de cyberrésilience antifragile transforment les pratiques en résultats
Découvrez comment cinq niveaux de résilience antifragile transforment les perturbations en comportements adaptatifs qui limitent les défaillances et renforcent l’architecture multicloud hybride.
Optimiser les pipelines d’IA en éliminant les goulets d’étranglement dans les charges de travail modernes
À mesure que les charges de travail d’IA montent en puissance, les entreprises constatent des ralentissements provenant du pipeline de données en amont qui alimente le modèle d’IA. Voici comment F5 BIG-IP peut les aider.