Faisons un petit jeu. Vous gérez un service d’IA à l’échelle mondiale. Un utilisateur en Allemagne pose une question simple à votre chatbot. Vers où cette requête doit-elle être acheminée ?
- Vers le GPU disponible le plus proche, où qu’il se trouve ?
- Vers le nouveau modèle surpuissant et incroyablement coûteux que vous venez de déployer dans un centre de données aux États-Unis ?
- Vers un modèle plus petit, moins coûteux, fonctionnant sur CPU et hébergé à Francfort, parfaitement capable de répondre à la question tout en respectant les lois sur la localisation des données ?
Si vous n’avez pas de réponse immédiate et assurée, vous n’êtes pas seul. Mais vous perdez aussi probablement beaucoup d’argent tout en vous exposant à des risques. Le routage des modèles, un mécanisme simple et souvent négligé, devient rapidement ce qui distingue une stratégie d’IA réussie d’un projet expérimental coûteux et mal sécurisé.
Et les données de notre dernière enquête montrent que la plupart des organisations se trouvent du mauvais côté de cette ligne.
Le héros sous-estimé de la stack IA
Lorsque nous demandons aux utilisateurs quels sont leurs principaux défis pour mettre des modèles d’IA à disposition, les mêmes sujets reviennent en tête : la sécurité et les garde-fous (48 %), le coût des GPU (43 %) et la résidence des données (23 %). Mais lorsque nous les interrogeons sur la difficulté à « acheminer le trafic entre plusieurs modèles ou versions », le sujet passe presque inaperçu : seuls 13 % le citent comme une préoccupation majeure.
C’est un cas typique où l’arbre cache la forêt.
Les organisations ne pensent pas avoir un problème de « routage » ; elles pensent avoir un problème de « coût » ou de « sécurité ». En réalité, elles ont un problème de routage qui est à l’origine de leurs problèmes de coût et de sécurité. Elles disposent des outils nécessaires (passerelles API, contrôleurs d’entrée, maillage de services), mais les utilisent comme de simples agents de circulation, et non comme le cerveau stratégique de leurs opérations d’IA, capable de prendre en compte le contexte.
Comment le routage stratégique résout vos plus gros casse-têtes liés à l’IA
Faisons le lien. Le routage intelligent des modèles, qui tient compte du contexte, ne consiste pas simplement à acheminer une requête d’un point A à un point B. Il s’agit de l’acheminer vers le bon point B, en fonction des coûts, de la sécurité, des performances et de la conformité.
Terrasser le dragon des coûts GPU
Le coût et l’utilisation des GPU constituent le deuxième défi majeur, et pour cause : ces composants coûtent une fortune. Mobiliser un GPU haut de gamme pour de simples requêtes, c’est comme utiliser une masse pour écraser une mouche. Le routage stratégique apporte une solution directe :
- Routage basé sur les coûts : orientez les requêtes vers la ressource de calcul la plus économique. Une requête simple peut être traitée par un modèle exécuté sur CPU, afin de réserver les GPU coûteux aux tâches complexes à forte valeur ajoutée.
- Routage basé sur l’utilisation : répartissez la charge entre toutes les ressources disponibles afin de maximiser leur utilisation et d’éviter que du matériel reste inactif tout en générant des coûts.
Sans cette intelligence, vous vous contentez d’envoyer des requêtes au hasard à vos ressources les plus coûteuses.
Mettre en place un véritable périmètre de sécurité
La sécurité est le défi numéro un, et pour cause. Comment faire respecter les garde-fous ? Comment détecter les contenus malveillants dans les prompts ? Il ne suffit pas de souhaiter qu’une politique de sécurité existe pour qu’elle s’applique. Il faut physiquement (enfin, numériquement) acheminer le trafic via un point de contrôle qui la fait respecter.
- Application des politiques : vous souhaitez soumettre un prompt à un garde-fou ? Vous devez d’abord acheminer la requête vers le service concerné. C’est indispensable pour mettre en œuvre l’« inspection des prompts et des réponses » que 53 % des organisations cherchent à appliquer.
- Contrôle des flux sortants : la seule façon d’appliquer des « contrôles des flux sortants sur les appels vers des fournisseurs de modèles externes » (une mesure utilisée par 62 % des répondants) est de disposer d’une couche de routage qui gère et inspecte ce trafic avant qu’il ne quitte votre réseau.
Le routage stratégique fait toute la différence entre le fait de disposer d’outils de sécurité et de les utiliser réellement de manière efficace.
La bouée de sauvetage de la résidence des données
Pour les 23 % d’organisations confrontées à des difficultés en matière de résidence et de souveraineté des données, le routage des modèles n’est pas un simple atout : c’est une nécessité pour assurer la conformité réglementaire. Le routage tenant compte de la localisation géographique garantit qu’une requête provenant d’un utilisateur situé dans l’UE est traitée par un modèle exécuté dans un centre de données de l’UE, afin que ses données restent dans le périmètre légal défini par le RGPD.
Le véritable coupable : des politiques fragmentées qui entravent le routage intelligent
Alors, si le routage est une solution si magique, pourquoi ne fonctionne-t-il pas ? Parce qu’on ne peut pas mettre en œuvre une stratégie mondiale avec une vision locale.
Nos données ont révélé une corrélation alarmante (mais sans surprise). Les organisations qui rencontraient le plus de difficultés face à ces défis majeurs liés à l’IA étaient celles dont la gestion des politiques était fragmentée, où chaque équipe définit ses propres règles ou « interprète » les directives centrales à sa manière.
[Quête annexe : lisez cet essai sur la loi de Conway et son lien avec le déploiement de l’IA à grande échelle, puis demandez-vous pourquoi des politiques fragmentées (propres à chaque équipe) font partie du problème. Allez-y. Je vous attends.]
Eh oui, impossible d’avoir une stratégie de routage des modèles cohérente, économique et sécurisée si votre équipe de la côte Est achemine le trafic différemment de celle de la côte Ouest. C’est toute la logique qui s’effondre. Pour exploiter pleinement la puissance du routage, il vous faut un point de contrôle centralisé qui offre une vue globale et cohérente de l’ensemble du trafic et des politiques.
La plupart des organisations disposent déjà des capacités techniques nécessaires ; plus de la moitié utilisent des passerelles API et des contrôleurs d’entrée. Ce qui manque, c’est la stratégie.
Il est (plus que) temps de cesser de considérer le routage comme un simple détail opérationnel et de le traiter comme le levier stratégique qui déterminera la réussite ou l’échec de l’ensemble de vos investissements dans l’IA.
À propos de l’auteur
Lori MacVittie est ingénieure émérite et évangéliste en chef au sein du bureau du directeur technique de F5. Elle possède une expertise approfondie dans la fourniture d’applications, les stratégies d’automatisation et les infrastructures. Elle est réputée pour sa capacité à rendre la complexité intelligible, qu’elle définisse des garde-fous pour les agents d’IA, analyse des architectures multicloud fragiles ou explore les limites des systèmes évolutifs. Elle cumule plus de trente ans d’expérience dans le secteur, couvrant le développement d’applications, l’architecture informatique ainsi que l’exploitation des réseaux et des systèmes. Avant de rejoindre F5, elle a été rédactrice spécialisée dans les technologies et a reçu plusieurs distinctions. MacVittie est titulaire d’un master en informatique et est une autrice prolifique dont les publications couvrent la sécurité, le cloud et l’architecture d’entreprise. Elle est également une passionnée de jeux de société et de jeux vidéo, et assume pleinement ses avis bien tranchés sur le fromage.
Autres articles de Lori Mac VittieArticles de blog associés
Le secret pour faire passer l’IA à l’échelle réside dans la capacité à surmonter la loi de Conway
L’IA ne passera pas à l’échelle toute seule. Sans un plan de contrôle unifié qui décloisonne les outils et les responsabilités, l’inférence devient la couche la plus fragile et la plus exigeante en matière de coordination.
Pourquoi le routage des modèles pourrait devenir une infrastructure de sécurité
L’IA agentique met en évidence les limites de la gestion des identités. L’association de modèles spécialisés et d’un routage fondé sur des politiques lie les autorisations au choix du modèle, réduisant ainsi l’étendue des dommages potentiels et la complexité de la gouvernance.
Votre prochain SRE pourrait être une machine
Le contrôle se concentre au niveau de l’intention : les prompts, les jetons et le routage. Le défi architectural consiste à définir où l’IA peut agir, quand elle doit s’en remettre à l’humain et comment revenir en arrière.
Top 10 de la livraison d’applications d’IA : contrôles du trafic insuffisants
Les limites de débit et les mécanismes de régulation traditionnels ne tiennent pas compte de l’étendue réelle des répercussions. Les charges de travail d’IA se répartissent entre les modèles, les bases de données vectorielles et les services, provoquant des pics de latence, des défaillances en cascade et des nouvelles tentatives.
L’inférence est désormais le centre de gravité opérationnel
Les opérations multimodèles et l’automatisation pilotée par API déplacent le contrôle vers les couches intervenant au moment de l’inférence — prompts, jetons et paramètres de contrôle, routage et modération — où les coûts, les risques et les performances doivent être maîtrisés.
Des paquets aux prompts : l’inférence ajoute une nouvelle couche à la pile
L’inférence n’est ni de l’entraînement, ni de l’expérimentation, ni un exercice de science des données. Elle correspond au comportement d’exécution en production et fonctionne comme une couche applicative.