Comment l’inférence de l’IA transforme la livraison des applications

Lori Mac VittieIngénieur émérite et évangéliste en chef | F5

La mise à disposition des applications a toujours consisté à garantir trois éléments : les performances, la disponibilité et la fiabilité. Ces principes ont défini la réussite au fil des générations d’architectures applicatives, du modèle client-serveur au cloud, en passant par le Web. Mais l’intelligence artificielle, et plus particulièrement l’inférence, change la donne.

Aujourd’hui, 80 % des entreprises déclarent exploiter leurs propres serveurs d’inférence. L’inférence n’est plus une expérimentation. Il s’agit désormais d’une charge de travail courante ayant un réel impact sur l’activité. Pourtant, de nombreuses organisations continuent de considérer les points de terminaison d’inférence comme « une API comme une autre ». Cette hypothèse est risquée. Contrairement aux API classiques, les requêtes d’inférence sont probabilistes, gourmandes en ressources de calcul et sensibles au contexte. Les traiter comme des charges de travail traditionnelles compromet les objectifs mêmes de la fourniture d’applications et expose les organisations à de nouvelles catégories de risques opérationnels et de sécurité.

Aujourd’hui, nous allons voir comment l’inférence redéfinit le triptyque performance, disponibilité et fiabilité (PAR) de la fourniture d’applications, examiner les différences algorithmiques que les entreprises doivent prendre en compte et mettre en lumière leurs implications pour les technologies de fourniture, telles que la surveillance de l’état de santé, l’équilibrage de charge, l’optimisation du trafic et la sécurité.

La triade PAR : le fondement de la fourniture d’applications

Tout comme la sécurité repose sur la triade CIA — confidentialité, intégrité et disponibilité —, la mise à disposition des applications s’appuie sur sa propre triade : performance, disponibilité et fiabilité.

• Performances: l’application répond-elle assez rapidement pour satisfaire les attentes des utilisateurs ?
• Disponibilité: L’application est-elle accessible et renvoie-t-elle des résultats valides en cas de forte sollicitation ?
• Fiabilité: Peut-on compter sur l’application pour se comporter de manière cohérente dans le temps ?

Pendant des décennies, cette triade s’est appliquée aux charges de travail déterministes. Les réponses étaient prévisibles, l’exactitude était considérée comme acquise et les coûts étaient stables. Les charges de travail d’inférence remettent en cause ces postulats. L’inférence étant probabiliste et variable sur le plan des ressources de calcul, les définitions de la performance, de la disponibilité et de la fiabilité doivent évoluer.

Performance : du déterministe au probabiliste

Dans les systèmes traditionnels, les performances se mesuraient en millisecondes. Des requêtes identiques produisaient des résultats quasiment identiques. L’inférence fonctionne différemment. La latence varie en fonction de la taille du modèle, de la complexité des données d’entrée, des stratégies de traitement par lots et des paramètres de génération. Même deux prompts identiques peuvent présenter des temps de réponse différents.

Pour les entreprises, cela signifie que les performances doivent être définies non seulement par la latence moyenne, mais aussi par la variabilité et l’efficacité. Autrement dit, il faut tenir compte de la vitesse de génération des jetons, du maintien du débit sous charge et de la prévisibilité des coûts.

Disponibilité : l’accessibilité doit inclure l’exactitude

Traditionnellement, la disponibilité était binaire : le système fonctionnait ou était hors service. Son exactitude était tenue pour acquise, car l’exécution du code était déterministe. Avec l’inférence, la disponibilité ne peut plus se limiter à l’accessibilité. Un modèle peut être en ligne, mais d’une lenteur rédhibitoire, saturé par le contexte ou se tromper avec assurance.

La disponibilité exige désormais à la fois exactitude et réactivité. Les systèmes doivent être évalués non seulement selon leur capacité à fournir une réponse, mais aussi selon la rapidité et la validité de cette réponse.

Fiabilité : de la cohérence à la cohérence sémantique

Autrefois, la fiabilité signifiait qu’à données d’entrée identiques, les systèmes produisaient des résultats identiques. Les charges de travail d’inférence remettent en cause cette attente. La variabilité est inhérente à ces processus. Les mises à jour des modèles, leur réentraînement et la génération stochastique entraînent tous une dérive. Les modèles de facturation basés sur les jetons compliquent encore davantage la prévisibilité.

La fiabilité doit désormais être mesurée en termes de cohérence sémantique : le système peut-il fournir, dans la durée, des résultats d’une qualité, d’une précision et d’une prévisibilité acceptables malgré le non-déterminisme ?

Différences algorithmiques et communicationnelles

Les charges de travail d’inférence diffèrent fondamentalement de celles des serveurs web et applicatifs :

• Traitement par lots: les requêtes peuvent être regroupées afin d’optimiser l’utilisation du GPU, ce qui perturbe l’ordre FIFO et entraîne des variations de latence.
• Streaming: Les réponses sont transmises jeton par jeton, ce qui oblige les systèmes de diffusion à gérer les sorties partielles et les annulations.
• Stratégies d’échantillonnage et de recherche: La variabilité des résultats dépend de choix algorithmiques tels que la température, l’échantillonnage top-k ou la recherche par faisceau.
• Routage: La sélection des modèles et des experts ajoute une couche de comportement dynamique absente des systèmes déterministes.

Ces différences modifient à la fois les performances et la sémantique de l’inférence d’une manière que les solutions de diffusion traditionnelles n’ont pas été conçues pour prendre en charge.

Implications en matière de sécurité

L’inférence introduit également de nouveaux risques. Selon nos recherches , 84 % des organisations effectuent des tests ou une surveillance pour détecter les injections de prompts, les jailbreaks ou la manipulation des résultats. Plus de la moitié (56 %) inspectent déjà les entrées et sorties d’inférence au moyen de passerelles ou de logiciels intermédiaires. Pourtant, une entreprise sur cinq autorise encore les prompts bruts à atteindre les modèles sans inspection, ce qui revient à exécuter une application web sans pare-feu.

La leçon est claire : traiter l’inférence comme une API classique expose les organisations à des risques. La disponibilité et la fiabilité s’effondrent lorsque l’exactitude et l’intégrité sémantique sont négligées. Les entreprises doivent intégrer des mécanismes de défense propres à l’inférence dans leur infrastructure de mise à disposition des applications, de l’application des politiques à l’exécution à la détection des anomalies adverses.

Conclusion

L’inférence n’est plus une perspective lointaine : elle est désormais intégrée aux environnements de production des entreprises. Quatre-vingts pour cent des organisations exploitent déjà leur propre infrastructure d’inférence. Pourtant, l’inférence n’est pas une API comme les autres. Elle introduit une exécution probabiliste, des risques liés à l’exactitude et une variabilité sémantique qui redéfinissent ce que signifie mettre des applications à disposition.

À l’ère de l’IA, la livraison des applications doit évoluer. Les entreprises doivent adapter leurs stratégies et leurs technologies afin de garantir que les systèmes reposant sur l’inférence restent performants, disponibles et fiables — c’est-à-dire utilisables, prévisibles, sécurisés et corrects — même lorsque leur exécution sous-jacente est intrinsèquement probabiliste.

À propos de l’auteur

Lori Mac VittieIngénieur émérite et évangéliste en chef | F5

Lori MacVittie est ingénieure émérite et évangéliste en chef au sein du bureau du directeur technique de F5. Elle possède une expertise approfondie dans la fourniture d’applications, les stratégies d’automatisation et les infrastructures. Elle est réputée pour sa capacité à rendre la complexité intelligible, qu’elle définisse des garde-fous pour les agents d’IA, analyse des architectures multicloud fragiles ou explore les limites des systèmes évolutifs. Elle cumule plus de trente ans d’expérience dans le secteur, couvrant le développement d’applications, l’architecture informatique ainsi que l’exploitation des réseaux et des systèmes. Avant de rejoindre F5, elle a été rédactrice spécialisée dans les technologies et a reçu plusieurs distinctions. MacVittie est titulaire d’un master en informatique et est une autrice prolifique dont les publications couvrent la sécurité, le cloud et l’architecture d’entreprise. Elle est également une passionnée de jeux de société et de jeux vidéo, et assume pleinement ses avis bien tranchés sur le fromage.

Autres articles de Lori Mac Vittie