La latence a toujours été ce problème que nous faisons tous semblant de considérer comme une « simple question de performances », jusqu’au moment où elle commence à éroder la confiance des utilisateurs, à faire exploser le nombre d’incidents et à réduire discrètement votre budget en cendres. Le document original ADC06 présente à juste titre ce phénomène comme un problème de fourniture d’applications, car la latence se limite rarement à une seule couche et ne reste jamais sagement à sa place. L’IA amplifie cette dynamique, la rend plus coûteuse et bien plus difficile à dissimuler derrière une icône de chargement.
La raison est simple. Les expériences basées sur l’IA sont interactives, et les utilisateurs ne perçoivent pas l’attente de la même manière lorsqu’ils attendent une réponse qui s’apparente à une conversation. Le chargement lent d’une page est agaçant. La réponse tardive d’un « assistant » donne l’impression que quelque chose ne va pas, et plus l’attente se prolonge, plus l’utilisateur fait mentalement passer votre système de « pratique » à « peu fiable », sans avoir besoin d’un tableau de bord pour le confirmer.
Impact sur les performances
Dans le cadre d’une mise à disposition traditionnelle des applications, la latence se traduit généralement par un temps de réponse plus long, donnant une impression de lenteur. Les utilisateurs se plaignent, votre NPS baisse, vos taux de conversion en pâtissent, et les débats habituels reprennent pour déterminer si le problème vient du réseau, de l’application, de la base de données ou du « cloud ». Ce problème a toujours été bien réel, mais il est également bien connu, ce qui permet aux équipes de savoir comment l’analyser.
Avec l’IA, la latence n’est plus perçue comme de la lenteur, mais comme de l’incompétence. Les utilisateurs n’interprètent pas une longue pause comme « un système distribué qui fait ce que font les systèmes distribués ». Ils y voient de l’hésitation, de la confusion ou un échec et, une fois cette impression installée, elle tend à perdurer. Le résultat finira peut-être par arriver, mais vous partez déjà avec un handicap, car le système a donné une impression d’incertitude plutôt que d’assurance.
Le fonctionnement basé sur les tokens aggrave encore la situation d’une manière que les applications traditionnelles n’ont jamais eu à gérer. Le prompt peut s’allonger au fil du temps, car chacun continue d’ajouter du contexte « au cas où », et la taille de la réponse peut exploser, car les modèles font ce qu’ils font : ils continuent de parler tant que vous ne leur imposez pas de limites. Même lorsque l’infrastructure fonctionne correctement, l’expérience peut malgré tout sembler lente parce que la charge de travail a augmenté, et non parce que le système a régressé.
Impact sur la disponibilité
La latence a toujours été un problème de fiabilité déguisé en problème de performances. Lorsqu’une dépendance ralentit, des délais d’attente sont dépassés. Ces dépassements entraînent des nouvelles tentatives, qui augmentent à leur tour la charge. Lorsque la charge augmente, tout ralentit, et l’on assiste alors à une réaction en chaîne qui s’apparente à une panne, même si, techniquement, aucun système n’est hors service.
Les systèmes d’IA sont particulièrement susceptibles de transformer les problèmes de latence en incidents de disponibilité, car ils comportent davantage de composants qu’une pile applicative classique. Il faut compter avec le point de terminaison du modèle, la passerelle, la couche d’orchestration, les services de récupération d’informations, les systèmes d’exécution d’outils et, souvent, l’application de politiques intégrée au traitement de la requête. Lorsqu’un élément commence à répondre lentement, l’expérience se dégrade de manière désordonnée et difficile à diagnostiquer.
Les workflows agentiques introduisent un autre mode de défaillance qui donne une impression de manque de fiabilité, alors qu’il ne s’agit que d’un retard. Les agents ont tendance à effectuer plusieurs actions par interaction utilisateur, généralement de manière séquentielle, car chaque étape dépend du résultat de la précédente. Ainsi, un appel d’outil lent ne se contente pas de ralentir le système : il bloque sa progression. Lorsque trop de sessions sont bloquées, les files d’attente s’allongent, la capacité de traitement simultané s’effondre et votre système commence à présenter des symptômes qui s’apparentent à une indisponibilité, notamment des expirations de délai, des sessions abandonnées et une vague croissante de plaintes d’utilisateurs qui semblent irrationnelles jusqu’à ce que vous examiniez les traces.
Impact sur l’évolutivité
L’évolutivité des systèmes d’IA est souvent mal comprise, car les équipes continuent de raisonner en termes de volume de requêtes, alors que la véritable contrainte est souvent le temps de traitement par requête. À mesure que la latence augmente, chaque session reste ouverte plus longtemps, ce qui mobilise les ressources de calcul plus longtemps et réduit le débit effectif.
L’IA introduit une variabilité qui amplifie considérablement ce phénomène. Certaines requêtes sont rapides. D’autres comportent des prompts très volumineux, des opérations de recherche intensives, de longues réponses et de multiples appels à des outils. Si vous dimensionnez votre système en fonction des moyennes, les valeurs extrêmes vous pénaliseront, et dans les systèmes d’IA, elles sont loin d’être négligeables. La latence extrême finit par définir l’expérience utilisateur, car les utilisateurs ne retiennent pas la meilleure réponse que vous ayez jamais produite.
La concurrence se comporte également différemment. Les charges de travail liées à l’IA sont souvent interactives et axées sur les sessions, ce qui signifie qu’elles ne se comportent pas comme un trafic d’API sans état bien ordonné. Le système doit conserver le contexte, traiter les requêtes de suivi et maintenir une expérience cohérente. Si la latence augmente progressivement, vous ne traitez pas seulement moins de requêtes par seconde, mais aussi moins de conversations par minute. Cette distinction est importante lorsque la valeur de votre produit repose sur sa réactivité.
Impact sur l’efficacité opérationnelle
La latence pénalise les opérations d’une manière aussi prévisible qu’exaspérante. La première réaction consiste généralement à augmenter la capacité, car c’est le levier le plus rapide à actionner et le plus facile à justifier. La deuxième consiste généralement à ajouter de la mise en cache, car cela paraît astucieux et peut s’avérer utile. La troisième consiste généralement à ajouter des tentatives supplémentaires, parce que quelqu’un veut améliorer la fiabilité ; vous avez alors discrètement construit un système qui transforme la lenteur en une charge amplifiée.
Au fil du temps, la latence instaure un modèle opérationnel dans lequel les équipes consacrent davantage de temps à la maintenance du système de livraison qu’au développement de fonctionnalités. L’IA aggrave ce phénomène, car les performances doivent être considérées de bout en bout et couvrent plusieurs domaines. Vous finissez par devoir résoudre des problèmes impliquant des équipes, des fournisseurs et des services qui n’ont jamais été conçus pour être débogués comme un pipeline cohérent. Chaque investigation se transforme en une cartographie des dépendances et des intervalles temporels, et la réponse est rarement simple.
Bonnes pratiques pour atténuer les problèmes de latence
La première pratique, et la plus importante, consiste à considérer la fourniture de services d’IA comme un problème de livraison, et non comme un problème de modèle. Si vous optimisez uniquement l’inférence, vous améliorez le moteur tout en faisant abstraction de la circulation, des routes et des intersections. Vous devez prendre en compte l’ensemble du parcours, depuis la saisie de l’utilisateur jusqu’à la réponse finale, y compris les étapes qui précèdent l’appel au modèle et celles qui le suivent.
Le routage redevient un levier important, car les charges de travail d’IA sont sensibles à la distance et à la longueur des files d’attente. La proximité entre l’inférence et la récupération des données compte, tout comme le choix du pool de capacité adapté à chaque type de requête. Un point de terminaison opérationnel n’est pas toujours le meilleur choix s’il est surchargé, trop éloigné ou associé à des dépendances en aval trop lentes. Lorsque le système est fortement sollicité, un routage intelligent peut faire toute la différence entre une expérience satisfaisante et un effondrement au ralenti.
L’allocation adaptative des ressources est également indispensable, car la demande liée à l’IA connaît des pics soudains et imprévisibles, une réalité à laquelle aucune planification des capacités ne permet d’échapper. Le système doit disposer de mécanismes permettant de maîtriser la consommation en période de forte sollicitation, notamment le profilage des requêtes, la dégradation progressive du service, des stratégies de sélection des modèles et la limitation du niveau d’orchestration qu’une seule interaction peut déclencher. Il ne s’agit pas seulement de maîtriser les coûts, mais aussi de garantir la stabilité.
Conclusion
La latence a toujours constitué un risque fondamental pour la fourniture d’applications, et ce n’est pas sans raison qu’ADC06 l’a mise en avant. L’IA ne fait que la rendre plus visible et plus préjudiciable, car tout délai dans une expérience d’IA donne une impression de manque de fiabilité, et rien ou presque ne freine plus rapidement l’adoption que ce manque de fiabilité.
Si vous développez aujourd’hui des applications intégrant l’IA, la gestion de la latence contribue à donner une impression de fiabilité, à maintenir la disponibilité du système dans des conditions réelles, à le faire évoluer sans explosion des coûts et à éviter que vos équipes d’exploitation ne passent leur temps à effectuer des analyses approfondies pour résoudre les problèmes. Les anciennes règles restent valables, mais les conséquences sont plus lourdes, car les utilisateurs considèrent le temps de réponse de l’IA comme un indicateur de la capacité du système à fonctionner de manière fiable.
En savoir plus sur les 10 principaux défis liés à la mise à disposition des applications auxquels sont confrontées les organisations du monde entier.
À propos de l’auteur
Lori MacVittie est ingénieure émérite et évangéliste en chef au sein du bureau du directeur technique de F5. Elle possède une expertise approfondie dans la fourniture d’applications, les stratégies d’automatisation et les infrastructures. Elle est réputée pour sa capacité à rendre la complexité intelligible, qu’elle définisse des garde-fous pour les agents d’IA, analyse des architectures multicloud fragiles ou explore les limites des systèmes évolutifs. Elle cumule plus de trente ans d’expérience dans le secteur, couvrant le développement d’applications, l’architecture informatique ainsi que l’exploitation des réseaux et des systèmes. Avant de rejoindre F5, elle a été rédactrice spécialisée dans les technologies et a reçu plusieurs distinctions. MacVittie est titulaire d’un master en informatique et est une autrice prolifique dont les publications couvrent la sécurité, le cloud et l’architecture d’entreprise. Elle est également une passionnée de jeux de société et de jeux vidéo, et assume pleinement ses avis bien tranchés sur le fromage.
Autres articles de Lori Mac VittieArticles de blog associés
Qu’est-ce que le Top 10 de la distribution d’applications ?
F5 entend aider les organisations à relever les défis liés à la mise à disposition et à la sécurisation des applications, des API et de l’IA générative grâce à la liste des 10 principales priorités en matière de mise à disposition des applications.
Top 10 de la livraison d’applications d’IA : contrôles du trafic insuffisants
Les limites de débit et les mécanismes de régulation traditionnels ne tiennent pas compte de l’étendue réelle des répercussions. Les charges de travail d’IA se répartissent entre les modèles, les bases de données vectorielles et les services, provoquant des pics de latence, des défaillances en cascade et des nouvelles tentatives.
Top 10 de la mise à disposition d’applications d’IA : observabilité incomplète
L’IA ne passera pas à l’échelle toute seule. Sans un plan de contrôle unifié qui décloisonne les outils et les responsabilités, l’inférence devient la couche la plus fragile et la plus exigeante en matière de coordination.
Top 10 de la livraison d’applications d’IA : manque de tolérance aux pannes et de résilience
L’IA rend les failles de résilience classiques bien plus coûteuses : la défaillance d’un seul GPU ou d’une seule dépendance se propage en cascade dans les chaînes d’inférence synchrones, augmentant la latence et dégradant les résultats.
Top 10 des risques liés au déploiement d’applications d’IA : mauvaises pratiques DNS
Pour les systèmes d’inférence et les systèmes agentiques, la résilience du DNS est essentielle à la disponibilité et aux performances : une mauvaise résolution peut entraîner des erreurs de routage, des pics de latence et des interruptions de service dans plusieurs régions.