La gestion des fenêtres de contexte en IA n’a rien de magique. C’est une question d’architecture.

Lori Mac VittieIngénieur émérite et évangéliste en chef | F5

Alors, mettons les choses au clair, car il s’avère qu’il est sacrément important de comprendre où réside le contexte (la session) dans les architectures d’IA. Et vous le savez parce que j’ai employé le mot « sacrément » dans un article de blog. Oui, je le pense vraiment.

Si vous développez votre propre application basée sur un LLM à l’aide de l’API OpenAI, vous n’utilisez pas ChatGPT. Vous communiquez avec un modèle. Un modèle brut. Et si vous pensez que votre application va se comporter comme ChatGPT simplement parce qu’elle fait appel à GPT-4, vous faites déjà fausse route.

ChatGPT n’est pas un modèle, mais un environnement d’exécution.

Les gens se trompent constamment à ce sujet, et l’image de marque d’OpenAI n’a rien arrangé. L’expérience « ChatGPT » — la mémoire, le ton, le contexte, sa capacité à suivre avec fluidité ce que vous avez dit six questions plus tôt sans soudain s’inventer un doctorat en botanique marine — n’a rien de magique. C’est une question d’architecture. Et cette architecture n’est pas fournie d’office lorsque vous utilisez l’API.

L’application ChatGPT est une expérience gérée reposant sur plusieurs couches. Elle combine :

• Ingénierie des prompts
• Gestion du contexte
• Mémoire persistante
• Guardrails et mécanismes de repli
• Logique de synthèse, de troncature et de contrôle

Avec l’API, rien de tout cela n’est fourni par défaut. Absolument rien.

Lorsque vous appelez directement GPT-4 (ou tout autre modèle, d’ailleurs), vous lui fournissez une séquence brute de messages dans un format sans état, en espérant que votre fenêtre de contexte ne déborde pas ou ne se fragmente pas en cours de route. C’est un modèle vierge, pas un majordome numérique.

La gestion de la fenêtre de contexte vous incombe.

Dans ChatGPT, le serveur d’inférence gère l’intégralité de la fenêtre de contexte. Vous saisissez du texte, il s’en souvient (jusqu’à ce qu’il l’oublie), et vous pouvez compter sur l’application pour garder globalement une trace de ce qui est pertinent. Un système de mémoire vient s’y superposer, et OpenAI sélectionne discrètement les éléments qui sont réinjectés.

Si vous utilisez l’API ? C’est vous qui êtes le serveur d’inférence. Cela signifie que :

• Vous construisez la pile de messages.
• Vous décidez de ce qu’il faut inclure.
• Vous gérez le budget de jetons.
• Vous tronquez, résumez ou perdez en cohérence.

Et si vous vous trompez (et cela arrivera, nous faisons tous cette erreur au début), ce sera à vous d’en assumer la responsabilité lorsque le modèle oubliera le nom de l’utilisateur en plein milieu de la session ou commencera à inventer des données que vous ne lui avez jamais fournies.

La mémoire n’est pas une fonctionnalité. C’est une infrastructure.

ChatGPT a une mémoire. Vous, non. À moins de la créer. Lorsque vous utilisez l’API, elle est sans état. C’est à vous de gérer l’ensemble du contexte, de la mémoire et du flux. Lorsque vous utilisez l’application ChatGPT, OpenAI s’occupe de tout pour vous. Tout est intégré.

La « mémoire » de ChatGPT n’est pas une simple note ajoutée à un prompt. C’est un système qui conserve les informations, les préférences, les objectifs et les contraintes de l’utilisateur d’une session à l’autre, puis les injecte de manière contextuelle dans le prompt au moment opportun. Si vous souhaitez intégrer un système similaire à votre application, vous aurez besoin des éléments suivants :

• Un système de stockage de données
• Schéma des entrées de mémoire
• Logique de contrôle permettant de déterminer quels éléments inclure et à quel moment
• Un moyen d’éviter que cela ne fasse exploser votre nombre de tokens

Autrement dit : l’infrastructure.

C’est pourquoi la plupart des applications d’IA développées en interne semblent fragiles. Elles interagissent avec un LLM comme s’il s’agissait d’un chatbot, et non d’un outil intégré à un système. Résultat ? Des fils de discussion perdus, des prompts répétitifs, des régressions étranges et des utilisateurs frustrés.

Et alors ?

Si vous développez à partir de l’API, vous construisez une infrastructure, que vous le vouliez ou non. Et si vos utilisateurs s’attendent à une expérience similaire à celle de ChatGPT, vous allez devoir leur offrir :

• Mémoire persistante
• Compression intelligente du contexte
• Gestion de l’état par tour
• Guardrails, mécanismes de repli et logique d’injection

Mais ce n’est qu’un début. Car si vous construisez tout cela sur une infrastructure de déploiement d’applications de niveau entreprise — et c’est bien le cas, n’est-ce pas ? N’EST-CE PAS ? — alors le reste de la plateforme doit lui aussi être à la hauteur.

C’est là qu’interviennent les équipes chargées de la mise à disposition et de la sécurité des applications.

Diffusion d’applications : vous ne vous contentez plus de servir du HTML ou du JSON

Les applications conçues nativement pour l’IA conservent leur état, reposent sur des interactions conversationnelles et fonctionnent souvent en temps réel. Ce qui signifie que :

• L’affinité de session redevient soudainement importante. Vous ne pouvez pas répartir l’état d’une conversation entre des backends sans état, à moins de gérer les jetons de session comme en 2009.
• La latence tue l’expérience utilisateur. Vous diffusez en continu des interactions en plusieurs échanges, vous ne servez pas des pages statiques. Vos répartiteurs de charge et votre logique en périphérie ont intérêt à savoir donner la priorité aux flux conversationnels à faible latence.
• Coût des jetons = bande passante + calcul + argent. L’efficacité de la transmission est désormais essentielle. La taille de la charge utile n’est pas seulement une question de réseau ; elle a aussi un impact sur la facturation.

Ce n’est pas un site vitrine. C’est une interface vivante. Vous ne pouvez pas simplement placer un CDN devant et considérer que le travail est terminé.

Sécurité : si vous ne maîtrisez pas le prompt, vous assumez le risque

Les LLM sont programmables au moyen d’instructions. Cela signifie que ces instructions constituent désormais la surface d’attaque.

• Les attaques par injection sont bien réelles et se produisent déjà. Si vous ne nettoyez pas rigoureusement les données saisies, vous permettez aux utilisateurs de reprogrammer votre IA à la volée.
• La manipulation des prompts peut entraîner la divulgation de données sensibles en mémoire, perturber les flux de travail ou falsifier les intentions.
• Les sorties du modèle peuvent être exfiltrées, manipulées ou empoisonnées si elles ne sont pas encadrées par des mécanismes d’application des politiques et d’observabilité.

Les contrôles de sécurité doivent évoluer :

• Vous avez besoin de WAF capables de comprendre le trafic lié à l’IA. Bloquer les données JSON malveillantes ne suffit pas. Vous devez protéger les jeux d’instructions, et pas seulement la structure des charges utiles.
• Vous avez besoin de pistes d’audit pour les décisions des LLM, en particulier dans les environnements réglementés.
• Vous avez besoin d’une limitation du débit et d’une protection contre les abus, non seulement pour les appels d’API, mais aussi pour maîtriser la complexité des prompts et les pics de coûts.

Et c’est sans même parler du cauchemar que représente la gouvernance des données lorsqu’on injecte des données utilisateur dans les fenêtres de contexte.

Mettez en place dès maintenant la bonne stack avant que l’IA agentique ne devienne incontrôlable.

En gros, ChatGPT est un produit abouti. L’API d’OpenAI est un outil brut. Si vous confondez les deux, votre stack va exploser.

Construisez intelligemment. Mettez en place une pile de sécurité et de livraison d’applications de niveau entreprise pour accompagner l’essor de votre portefeuille d’IA — croyez-moi, ce sera encore plus important lorsque vous commencerez à créer des agents d’IA, puis à adopter avec enthousiasme une architecture agentique. Car si vous pensez que la dérive contextuelle et les hallucinations posent problème dans les applications d’IA destinées aux utilisateurs finaux, attendez de voir ce que l’IA agentique peut faire à vos applications d’IA métier et opérationnelles.

À propos de l’auteur

Lori Mac VittieIngénieur émérite et évangéliste en chef | F5

Lori MacVittie est ingénieure émérite et évangéliste en chef au sein du bureau du directeur technique de F5. Elle possède une expertise approfondie dans la fourniture d’applications, les stratégies d’automatisation et les infrastructures. Elle est réputée pour sa capacité à rendre la complexité intelligible, qu’elle définisse des garde-fous pour les agents d’IA, analyse des architectures multicloud fragiles ou explore les limites des systèmes évolutifs. Elle cumule plus de trente ans d’expérience dans le secteur, couvrant le développement d’applications, l’architecture informatique ainsi que l’exploitation des réseaux et des systèmes. Avant de rejoindre F5, elle a été rédactrice spécialisée dans les technologies et a reçu plusieurs distinctions. MacVittie est titulaire d’un master en informatique et est une autrice prolifique dont les publications couvrent la sécurité, le cloud et l’architecture d’entreprise. Elle est également une passionnée de jeux de société et de jeux vidéo, et assume pleinement ses avis bien tranchés sur le fromage.

Autres articles de Lori Mac Vittie