Une entreprise de services financiers garantit une transmission fiable des données pour l’IA

Un grand gestionnaire d’actifs européen a appris à ses dépens que le stockage objet ne peut, à lui seul, absorber les accès simultanés générés par les charges de travail d’IA. Après qu’une mauvaise configuration côté client a provoqué un incident de déni de service, l’entreprise a déployé les solutions F5 afin de garantir une distribution de données S3 fiable, évolutive et hautement performante pour l’entraînement des modèles d’IA.

Défi

Un gestionnaire d’actifs européen, fortement implanté dans les services financiers et l’immobilier, investit massivement dans l’IA. Les équipes de data science de l’entreprise entraînent des modèles sur de vastes jeux de données stockés dans Dell Elastic Cloud Storage (ECS), un système de stockage objet compatible S3, tandis que les charges de travail d’IA s’exécutent sur Kubernetes. Le point faible résidait dans la liaison entre ces charges de travail et le stockage lui-même.

Les plateformes de stockage objet sont conçues pour faire évoluer la capacité, et non pour réguler le trafic. Pendant des décennies, les applications se sont connectées au stockage au moyen de protocoles dédiés sur des réseaux contrôlés ; il n’était donc pas nécessaire de gérer le trafic en amont d’un serveur de fichiers ou d’une baie de stockage. Le stockage S3 a changé la donne. Le stockage objet est désormais accessible via HTTP par tout client disposant d’une clé, ce qui signifie que son interface frontale se comporte comme un service web et peut connaître les mêmes types de défaillances. Chaque nœud de stockage est soumis à des limites pratiques quant au nombre de connexions TCP simultanées qu’il peut gérer. Lorsque les pipelines d’IA ouvrent des milliers de sessions en parallèle pour récupérer des données d’entraînement, ces limites peuvent être rapidement atteintes, et les équipes chargées du stockage voient rarement le problème venir.

Pour l’entreprise de services financiers, un client mal configuré a ouvert davantage de connexions simultanées que le serveur d’origine ne pouvait en gérer, provoquant de fait une situation de déni de service visant le propre système de stockage de l’entreprise. L’ingestion des données d’IA s’est interrompue.

L’incident a clairement mis en évidence deux points pour les équipes chargées de l’infrastructure et du stockage.

Premièrement, un seul client au comportement défaillant ne devrait jamais pouvoir mettre hors service une plateforme de données partagée. Dans le secteur des services financiers en particulier, la fiabilité n’est pas négociable. Les calendriers d’entraînement des modèles, les analyses et les décisions métier qui en découlent dépendent tous du maintien en fonctionnement de la plateforme de données.

Deuxièmement, compte tenu des projets de l’entreprise visant à ajouter des nœuds ECS pour répondre aux besoins croissants de ses initiatives en matière d’IA, le problème ne ferait que s’aggraver. Pour aller de l’avant, il fallait faire preuve de rigueur technique à la frontière du stockage, en mettant en place un point de contrôle capable de réguler, d’équilibrer et de protéger le trafic S3 avant même qu’il n’atteigne un nœud de stockage.

Solutions

L’entreprise a évalué plusieurs solutions potentielles, notamment HAProxy et des offres de Kemp Technologies, mais a constaté que leurs fonctionnalités de mise à disposition d’applications adaptées au protocole S3 étaient limitées.

Les premières démonstrations de validation de la valeur se sont révélées décisives, mettant en évidence la capacité de la solution F5 à relever les défis liés au protocole S3, tels que la persistance des sessions, tout en s’intégrant parfaitement à ECS. Dell, partenaire technique de l’entreprise comme de F5, a joué un rôle déterminant en assurant l’alignement de la solution F5 avec l’infrastructure ECS et en préconisant l’architecture conjointe.

En définitive, la société de services financiers a choisi F5 et déployé quatre appliances F5 rSeries r5600 exécutant BIG-IP Local Traffic Manager (LTM), afin de constituer une couche de distribution dédiée en amont du stockage ECS.

Le déploiement s’est appuyé sur une architecture de référence éprouvée, ce qui a permis de réduire les risques et fournit une feuille de route pour accompagner la maturation de l’environnement d’IA. L’architecture active/active à deux centres de données qui en résulte est volontairement simple. Elle exploite des mécanismes de routage dynamique afin d’assurer une mise à l’échelle horizontale et une haute disponibilité sans dépendre du DNS. Chaque requête S3 provenant des charges de travail d’IA hébergées sur Kubernetes passe désormais par BIG-IP LTM avant d’atteindre le stockage. Cette décision de conception à elle seule corrige le mode de défaillance initial et pose les bases de la croissance future.

Résultats

La mutualisation des connexions résout directement le problème d’accès simultanés, de sorte que l’incident à l’origine de ce projet ne puisse pas se reproduire. BIG-IP-LTM gère l’afflux de connexions TCP côté client et les regroupe en un ensemble plus restreint et maîtrisé de connexions côté serveur vers les nœuds ECS. Il impose également une gestion rigoureuse des connexions afin qu’un seul client mal configuré ou trop agressif ne puisse plus saturer un nœud de stockage. La plateforme ECS reste accessible à toutes les équipes, même lorsqu’un client se comporte de manière inappropriée.

Obtenir des gains de performance mesurables

Le hachage cohérent des URL permet une répartition intelligente des requêtes plutôt qu’aléatoire. Les requêtes portant sur les mêmes objets sont acheminées de manière prévisible au sein du cluster ECS, ce qui améliore l’utilisation du cache, évite les points de surcharge et maintient un débit stable à mesure que des nœuds de stockage sont ajoutés.

En outre, des tests de performance internes réalisés à l’aide de l’outil Mongoose de test des performances de stockage ont démontré un gain de performance de 500 % sur les entrées et sorties traitées après la mise en œuvre des solutions F5 dans le chemin de données. Grâce à l’optimisation des connexions TCP, au multiplexage des requêtes côté serveur et à l’utilisation du routage dynamique, la plateforme a immédiatement amélioré le débit pour les charges de travail d’IA exigeantes.

Faites évoluer vos initiatives d’IA sans revoir l’architecture

L’entreprise prévoit de développer son environnement ECS à mesure que l’adoption de l’IA progresse. Comme BIG-IP LTM masque les points de terminaison de stockage derrière une adresse virtuelle unique, l’entreprise peut ajouter des nœuds pour étendre son infrastructure ECS sans modifier la configuration des applications ni perturber les charges de travail. Ainsi, l’architecture qui a résolu un problème de fiabilité favorise également la croissance.

Transformez le stockage en un service conçu selon une architecture structurée

Le déploiement d’une couche dédiée à la fourniture d’applications en amont du stockage favorise l’adoption de bonnes pratiques d’ingénierie. Le trafic peut ainsi être observé, équilibré et géré de manière centralisée, au lieu de former un maillage non maîtrisé et étroitement couplé de clients accédant directement aux nœuds. Pour l’architecte du stockage, cela garantit un comportement prévisible des nœuds et une planification rigoureuse des capacités. Pour le DSI, cela signifie que la plateforme de données d’IA constitue un système bien conçu, plutôt qu’une accumulation de connexions point à point.

Misez sur un partenariat pour la fourniture de données d’IA

F5 et Dell poursuivent leur travail d’ingénierie conjoint précisément pour ce type de charge de travail, en associant la gestion du trafic BIG-IP LTM à un stockage objet compatible S3 pour les pipelines d’IA. Les autres entreprises doivent retenir que le stockage objet S3 est un service web et que les charges de travail d’IA le solliciteront comme tel. Un contrôleur de mise à disposition d’applications dédié, placé devant le stockage, peut transformer une origine exposée en un pipeline de données résilient, indispensable à une mise en œuvre efficace de l’IA.