Si les applications cloud natives étaient une poignée de tuyaux d’arrosage, les systèmes d’inférence d’IA et d’agents seraient un réseau d’arrosage industriel contrôlé par un tout-petit coiffé d’un casque de pompier et tenant une brique de jus de fruits. Vous pensez savoir où va l’eau, mais ce n’est pas le cas. Le temps que vous vous en rendiez compte, quelque chose de coûteux est déjà trempé.
Les charges de travail d’inférence et les exécutions pilotées par des agents ne se comportent pas comme des services traditionnels. Elles ne suivent pas des parcours de requêtes prévisibles, ne reproduisent pas systématiquement les mêmes workflows et ne tombent pas en panne de manière bien ordonnée. Elles façonnent leur propre environnement d’exécution, se réorientent en fonction de résultats partiels, réessaient lorsqu’elles estiment que c’est judicieux et consomment des ressources par pics extrêmement variables. Si votre stratégie d’observabilité repose sur des moyennes, des agrégations ou des tableaux de bord actualisés toutes les 30 secondes, c’est une faute professionnelle sur le plan opérationnel.
Impact sur les performances
La latence d’inférence ne se résume pas à une seule métrique et n’est pas liée à un niveau unique. Elle dépend du choix du modèle, du nombre de jetons, de la longueur de la file d’attente du GPU, du temps d’accès aux données en amont et de toutes les acrobaties de prompt qu’un agent effectue en cours d’exécution. Les agents rendent la situation encore plus chaotique en créant des embranchements, en enchaînant les opérations ou en effectuant de nouvelles tentatives sans annoncer leurs intentions.
Si vous ne pouvez pas observer les performances au niveau de l’intention, de la génération des jetons, du cheminement du modèle et de la chaîne d’exécution, vous mettrez en cause le mauvais composant, optimiserez la mauvaise couche ou dimensionnerez la mauvaise ressource. Pendant ce temps, les utilisateurs (humains ou automatisés) concluront simplement : « L’IA est lente. »
Impact sur la disponibilité
Les contrôles d’intégrité traditionnels répondent uniquement à la question « A-t-il répondu ? » Pour les charges de travail d’IA, il faut plutôt se demander : « A-t-il répondu dans les délais attendus pour cette tâche ? »
Les systèmes d’inférence tombent rarement en panne ; ils se dégradent plutôt jusqu’à devenir courtois, mais inutilisables. Des réponses lentes, des résultats obsolètes issus du cache ou des hallucinations discrètes peuvent tous donner l’impression que tout fonctionne, à moins de disposer d’une visibilité sur le type de tâche, la latence minimale attendue et les seuils de qualité. À mesure que les agents enchaînent les décisions, les nouvelles tentatives se transforment en boucles invisibles qui ressemblent à un trafic normal, jusqu’à ce que quelque chose finisse par céder.
Le cauchemar opérationnel, ici, ce n’est pas l’indisponibilité, mais une réussite erronée, incomplète ou inadaptée au contexte.
Impact sur l’évolutivité
Vous ne pouvez pas faire évoluer ce que vous ne pouvez pas observer, et encore moins en optimiser les coûts si vous ne pouvez pas les attribuer. La planification des capacités d’IA doit prendre en compte :
- Débit de jetons
- Concurrence des modèles et coût du changement de modèle
- Saturation du GPU
- Multiplication des nouvelles tentatives de l’agent
- Coût par appel
- Allongement du temps d’exécution sur les étapes enchaînées
Sans ce niveau de visibilité, vous oscillez entre le surprovisionnement (regrets financiers) et le sous-provisionnement (appels au support, chefs de produit mécontents, cellules de crise). Aucun des deux ne témoigne d’une quelconque maturité ; tous deux révèlent une dette d’observabilité.
Bonnes pratiques
Une observabilité complète de l’IA ne consiste pas à collecter davantage de journaux, mais à recueillir plus rapidement une télémétrie plus riche et alignée sur les comportements, capable de comprendre ce que l’IA cherchait à faire, ce qu’elle a réellement fait et les ressources qu’elle a consommées pour y parvenir. Cela nécessite une instrumentation capable d’expliquer non seulement ce qui s’est passé, mais aussi pourquoi, sur la base de quelles hypothèses et à quel coût.
Cela implique de retracer la filiation d’exécution des workflows assemblés par des agents, de faire des coûts et de la latence des signaux opérationnels de premier plan, de corréler le comportement des modèles à l’intention plutôt qu’aux points de terminaison, et d’intégrer les attentes déclarées par les agents aux métadonnées d’observabilité. Les métadonnées passent ainsi de simples « informations sur la requête » à un véritable « contrat d’exécution », incluant, au niveau de chaque appel, des budgets de latence, des préférences de nouvelle tentative, des étiquettes de sensibilité des données, des niveaux de priorité des agents et des plafonds de coûts.
À mesure que cette évolution se poursuivra, nous assisterons à l’émergence d’un plan de télémétrie à haut débit : un flux de données dédié, avec une latence inférieure à la milliseconde, capable de capturer des signaux pour chaque jeton, chaque étape et chaque agent, sans saturer le stockage ni compromettre les SLO. Ce plan de télémétrie sera probablement situé à proximité de la couche d’inférence, prendra en charge la compression sémantique et fournira en continu des informations à faible latence sur les coûts, la capacité, l’état de santé et l’alignement avec les intentions. Sans cela, l’observabilité de l’IA submergera les pipelines existants ou fournira des informations trop tardives pour être utiles.
Les systèmes devront ingérer, corréler et analyser cette télémétrie en quasi-temps réel, et non par lots, puis l’utiliser pour piloter le routage adaptatif, limiter le débit des agents, sélectionner des parcours d’inférence moins coûteux et détecter rapidement les workflows qui s’emballent avant qu’ils ne se transforment en pannes ou en factures exorbitantes.
La livraison change lorsque l’IA entre en jeu
L’IA ne tombe pas en panne de manière nette, prévisible ou manifeste, et une observabilité incomplète vous empêche de vous en apercevoir avant que l’entreprise ne le constate.
Si l’intelligence constitue la nouvelle couche applicative, alors l’observabilité doit passer de « Que s’est-il passé ? » à : « Qu’était-il censé se passer, pourquoi avons-nous suivi cette voie, et cela valait-il la latence, le risque et le coût engendrés ? »
Lorsque vous pouvez répondre à cette question en temps réel, vous êtes prêt pour l’IA.
En savoir plus sur les 10 principaux défis liés à la mise à disposition des applications auxquels sont confrontées les organisations du monde entier.
À propos de l’auteur
Lori MacVittie est ingénieure émérite et évangéliste en chef au sein du bureau du directeur technique de F5. Elle possède une expertise approfondie dans la fourniture d’applications, les stratégies d’automatisation et les infrastructures. Elle est réputée pour sa capacité à rendre la complexité intelligible, qu’elle définisse des garde-fous pour les agents d’IA, analyse des architectures multicloud fragiles ou explore les limites des systèmes évolutifs. Elle cumule plus de trente ans d’expérience dans le secteur, couvrant le développement d’applications, l’architecture informatique ainsi que l’exploitation des réseaux et des systèmes. Avant de rejoindre F5, elle a été rédactrice spécialisée dans les technologies et a reçu plusieurs distinctions. MacVittie est titulaire d’un master en informatique et est une autrice prolifique dont les publications couvrent la sécurité, le cloud et l’architecture d’entreprise. Elle est également une passionnée de jeux de société et de jeux vidéo, et assume pleinement ses avis bien tranchés sur le fromage.
Autres articles de Lori Mac VittieArticles de blog associés
Top 10 de la livraison d’applications d’IA : manque de tolérance aux pannes et de résilience
L’IA rend les failles de résilience classiques bien plus coûteuses : la défaillance d’un seul GPU ou d’une seule dépendance se propage en cascade dans les chaînes d’inférence synchrones, augmentant la latence et dégradant les résultats.
Top 10 des risques liés au déploiement d’applications d’IA : mauvaises pratiques DNS
Pour les systèmes d’inférence et les systèmes agentiques, la résilience du DNS est essentielle à la disponibilité et aux performances : une mauvaise résolution peut entraîner des erreurs de routage, des pics de latence et des interruptions de service dans plusieurs régions.
Qu’est-ce que le Top 10 de la distribution d’applications ?
F5 entend aider les organisations à relever les défis liés à la mise à disposition et à la sécurisation des applications, des API et de l’IA générative grâce à la liste des 10 principales priorités en matière de mise à disposition des applications.
Comportements et limites : le tournant de la sécurité agentique
Les agents génèrent des séquences émergentes et non bornées, au fil desquelles les risques s’accumulent. La sécurité doit passer de la validation de requêtes individuelles à une gouvernance comportementale continue couvrant des flux évolutifs en plusieurs étapes.
L’IA favorise l’émergence de nouveaux types de trafic
L’adoption de l’IA fait émerger de nouveaux types de trafic de premier plan : les requêtes d’inférence, le trafic d’automatisation généré par les machines et les flux de télémétrie à haut volume qui alimentent les boucles de contrôle.
Des paquets aux prompts : l’inférence ajoute une nouvelle couche à la pile
L’inférence n’est ni de l’entraînement, ni de l’expérimentation, ni un exercice de science des données. Elle correspond au comportement d’exécution en production et fonctionne comme une couche applicative.