Imaginez un monde où les tâches d’inférence d’IA s’exécutent non seulement plus rapidement, mais aussi de manière plus sécurisée, avec un minimum d’efforts de configuration et de maintenance. Cela semble trop beau pour être vrai ? La toute dernière solution basée sur Intel OpenVINO concrétise cette vision en intégrant l’unité de traitement d’infrastructure (IPU) E2100 « Dayton Peak » d’Intel, F5 NGINX Plus et Red Hat OpenShift. Cette configuration révolutionnaire est conçue pour les développeurs et les entreprises qui souhaitent faire évoluer leurs charges de travail d’IA de manière sécurisée et efficace, tout en simplifiant l’installation et l’exploitation.
Je vous propose d’examiner en détail comment toutes les pièces de ce puzzle s’assemblent et pourquoi cette intégration change la donne en matière de sécurité et d’évolutivité de l’inférence d’IA.
1. Décharger les tâches critiques de l’infrastructure d’IA sur l’IPU Intel
Au cœur de cette configuration, tout est conçu pour accélérer l’inférence d’IA en déchargeant les tâches d’infrastructure critiques sur l’Intel IPU. Le système hôte, qui exécute le serveur d’inférence Intel OpenVINO, peut ainsi consacrer ses ressources à l’essentiel : fournir des résultats d’inférence rapides et précis. Associé à F5 NGINX Plus ainsi qu’au système d’exploitation Enterprise Linux, à OpenShift et à MicroShift de Red Hat, le système offre un équilibre unique entre performances, évolutivité et sécurité.
“Cette configuration révolutionnaire est conçue pour les développeurs et les entreprises qui souhaitent faire évoluer leurs charges de travail d’IA de manière sécurisée et efficace, tout en simplifiant l’installation et l’exploitation.”
Voici le fonctionnement général : le trafic chiffré transite du client d’IA vers NGINX Plus, déployé directement sur l’IPU Intel. NGINX Plus fait office de proxy de trafic : il déchiffre les données et les achemine de manière sécurisée via le bus PCIe vers les serveurs d’inférence Intel OpenVINO hébergés sur le système Dell R760. Les résultats sont ensuite renvoyés via NGINX Plus afin d’être transmis au client d’IA.
2. Principaux avantages architecturaux de l’exécution de l’infrastructure sur l’IPU Intel
Si le workflow est en lui-même convaincant, les avantages architecturaux apportent une valeur ajoutée encore plus importante. En transférant les tâches d’infrastructure vers l’IPU, la solution offre à la fois des gains de performances et une répartition claire des responsabilités entre les administrateurs.
L’un des principaux avantages du déploiement de NGINX Plus sur l’IPU Intel réside dans le transfert des tâches d’infrastructure depuis le processeur du système hôte. Des opérations telles que le routage du trafic, le déchiffrement et le contrôle d’accès, qui peuvent être gourmandes en ressources, sont entièrement prises en charge par l’IPU. Le processeur hôte dispose ainsi de beaucoup plus de cycles pour se consacrer aux charges de travail propres aux applications, par exemple pour exécuter des modèles d’inférence Intel OpenVINO supplémentaires ou traiter des processus d’IA exigeants en ressources.
Dans des conditions réelles, cela permet de mieux exploiter votre matériel serveur hautes performances coûteux. Au lieu d’être accaparé par des tâches d’infrastructure en arrière-plan, le processeur hôte peut fonctionner à pleine capacité pour exécuter les charges de travail qui comptent le plus pour vous.
Un autre avantage unique de la solution réside dans la séparation entre les services d’infrastructure et les charges de travail applicatives. En exécutant toutes les tâches d’infrastructure — telles que NGINX Plus, la gestion du réseau et le contrôle d’accès — sur l’IPU Intel, tout en maintenant le serveur d’inférence Intel OpenVINO sur l’hôte, nous avons établi une séparation nette entre les responsabilités du plan de contrôle.
L’administrateur de l’application Intel OpenVINO est chargé de gérer les charges de travail d’inférence, de déployer et de mettre à l’échelle les modèles d’IA, ainsi que d’optimiser les performances au niveau applicatif. L’administrateur de l’infrastructure, quant à lui, supervise l’environnement Intel IPU, gère le routage, applique le contrôle d’accès (au moyen de règles FXP) et veille au fonctionnement sécurisé et efficace des services d’infrastructure en configurant l’instance NGINX Plus.
Cette séparation des responsabilités élimine toute ambiguïté, renforce la collaboration au sein de l’organisation et permet à chaque administrateur de se concentrer pleinement sur son domaine d’expertise respectif.
Ensemble, ces avantages rendent cette solution non seulement pratique, mais aussi efficace pour faire évoluer les workflows d’IA d’entreprise, tout en garantissant une utilisation optimale des ressources et un niveau de sécurité irréprochable.
3. Red Hat OpenShift et MicroShift : au service de l’automatisation et de la simplification
L’un des aspects les plus remarquables de ce système est la façon dont il s’appuie sur Red Hat MicroShift et les opérateurs DPU OpenShift pour rendre la configuration et la mise à l’échelle quasiment automatiques. Honnêtement, lorsqu’on la voit à l’œuvre, cette automatisation semble presque magique. Voyons cela plus en détail :
Il y a deux clusters. Le premier est le cluster OpenShift qui s’exécute sur le système hôte. Plus précisément, il s’agit d’un nœud de calcul OpenShift exécuté sur le Dell R760. Le second est un cluster MicroShift. Il est déployé sur les cœurs Arm de l’IPU Intel. Cette version allégée d’OpenShift offre la flexibilité des conteneurs sans la surcharge d’un environnement Kubernetes complet.
Ces clusters fonctionnent de concert grâce à des opérateurs DPU, qui se chargent des tâches complexes en arrière-plan. Ils communiquent entre eux et échangent des données sur les pods et les réseaux actifs. Cette connexion est particulièrement importante pour gérer de manière dynamique les règles de sécurité et de trafic.
Voici ce qui facilite vraiment la vie des développeurs : la création dynamique de règles. Auparavant, la configuration des règles FXP (utilisées pour gérer le contrôle d’accès au trafic PCIe) nécessitait une intervention manuelle et des connaissances en programmation P4. Désormais, il vous suffit de déployer vos charges de travail, et les opérateurs s’occupent automatiquement de tout :
L’opérateur crée dynamiquement de nouvelles règles FXP chaque fois que des pods d’inférence OpenVINO correctement étiquetés sont déployés. Ces règles FXP permettent la communication via le bus PCIe. Lorsque les charges de travail augmentent ou diminuent, le système ajuste automatiquement ces règles d’accès, éliminant ainsi toute incertitude liée à la configuration.
Ce niveau d’automatisation permet à tous, des développeurs aux administrateurs système, de se concentrer sur les charges de travail d’IA sans s’enliser dans les détails de la configuration de l’infrastructure.
4. Le workflow d’inférence de l’IA en action
Voyons maintenant plus en détail comment l’ensemble de ce système fonctionne pour l’inférence d’IA. Prenons l’exemple de la reconnaissance d’espèces animales dans des images à l’aide de la boîte à outils de déploiement de modèles de deep learning Intel OpenVINO. Voici les différentes étapes de ce workflow.
Tout d’abord, les données d’image chiffrées sont envoyées par un client d’IA au moyen d’un appel d’API GRPCS. NGINX Plus, exécuté sur l’IPU Intel, déchiffre les données et fait office de proxy de trafic. Ce trafic transite ensuite de manière sécurisée par le bus PCIe jusqu’aux serveurs d’inférence Intel OpenVINO hébergés sur le Dell R760. Les serveurs d’inférence Intel OpenVINO traitent les images à l’aide du modèle d’IA ResNet afin d’identifier l’espèce présente sur chaque image. Par exemple, le modèle peut conclure : « C’est un golden retriever » ou « C’est un chat tigré ». Les résultats sont renvoyés par le même chemin, via NGINX Plus, puis transmis au client.
Le système peut être configuré pour prendre en charge plusieurs clients d’IA traitant simultanément des lots d’images. Même lorsque plusieurs clients exécutent des requêtes d’inférence en boucle, le système reste sécurisé, fluide et réactif.
5. Sécurité renforcée grâce à un contrôle d’accès intelligent
Parlons de l’un des principaux avantages de ce système : la sécurité. L’IPU Intel ne se contente pas de traiter le trafic : elle protège activement les communications entre l’infrastructure et les charges de travail d’inférence exécutées sur l’hôte.
Voici comment cela fonctionne : l’IPU utilise des règles FXP pour contrôler le trafic transitant par l’interface PCIe. Seul le trafic autorisé par ces règles générées dynamiquement (gérées par les opérateurs du DPU) peut circuler. Cela garantit la sécurité des communications tout en bloquant les accès non autorisés au système hôte. Ce type de sécurité multicouche contribue à réduire les risques, en particulier pour les entreprises qui traitent des données sensibles au moyen de pipelines d’IA.
6. Pourquoi cette solution se démarque
À mes yeux, la force de cette solution réside dans son équilibre parfait entre performances, automatisation et sécurité. En isolant la gestion de l’infrastructure sur l’IPU tout en exécutant les charges de travail d’inférence sur la machine hôte, Intel, Red Hat et F5 ont créé une configuration à la fois efficace et sécurisée.
Voici ce qui fait de cette configuration une véritable révolution :
- Configuration simplifiée :Oubliez les configurations manuelles. Grâce aux opérateurs DPU et à la création dynamique de règles, le système est pratiquement prêt à l’emploi.
- Mise à l’échelle dynamique :Que vous exécutiez un seul pod d’inférence ou 20, les règles de communication et de sécurité s’adaptent automatiquement.
- Sécurité renforcée : La séparation nette entre l’infrastructure et les charges de travail, associée au contrôle d’accès sur le bus PCIe, crée une frontière de sécurité robuste.
- Utilisation optimisée des ressources : Le déchargement des tâches d’infrastructure vers l’IPU libère le processeur hôte pour les tâches de calcul prioritaires.
- Répartition claire des responsabilités : Les administrateurs peuvent se concentrer sur leur domaine — applications ou infrastructure — sans empiéter sur les responsabilités des autres.
Une avancée majeure pour l’inférence de l’IA
Cette solution basée sur Intel OpenVINO associe matériel et logiciel de manière parfaitement fluide. L’IPU E2100 d’Intel, Red Hat OpenShift et F5 NGINX Plus offrent un exemple de premier ordre de simplification des pipelines complexes d’inférence d’IA, tout en améliorant la sécurité et l’évolutivité.
Que vous soyez développeur, architecte d’infrastructure ou décideur en entreprise, cette solution constitue un modèle concret pour gérer les charges de travail d’IA dans un environnement moderne et conteneurisé. Si elle a éveillé votre intérêt, n’hésitez pas à contacter Intel, F5 ou Red Hat afin de découvrir comment cette configuration peut s’intégrer à votre flux de travail.
C’est passionnant de voir comment cette technologie évolue et, pour ma part, j’ai hâte de découvrir les prochaines innovations. Pour en savoir plus, regardez ma vidéo de démonstration sur LinkedIn.
À propos de l’auteur
Paul Pindell est architecte principal chez F5, où il travaille au sein de l’équipe Technology Alliances et supervise les partenariats techniques couvrant l’ensemble du portefeuille de produits de F5. Depuis 2019, il joue également un rôle clé dans les initiatives de stratégie d’entreprise, notamment en contribuant au lancement du premier projet d’innovation de F5. Paul a dirigé l’équipe spéciale chargée de la stratégie d’IA de F5, dont l’objectif était de déterminer comment les produits existants de F5 peuvent contribuer à sécuriser et à fournir des applications d’IA. Il a ensuite participé à l’élaboration de l’architecture de référence de F5 pour l’IA, qui présente les principaux composants, défis, risques et solutions partenaires nécessaires à la fourniture et à la sécurisation des applications d’IA. Paul intervient régulièrement comme conférencier principal et animateur de sessions thématiques lors d’événements du secteur, notamment l’OPI Summit, l’OCP Global Summit, Intel InnovatiON, l’Open Source Summit, le Red Hat Tech Exchange et plusieurs conférences VMworld aux États-Unis et dans la région EMEA. Il est également fondateur et responsable de la maintenance de projets open source, préside le comité de sensibilisation de l’Open Programmable Infrastructure Project et a auparavant dirigé les opérations des centres de données Antivirus Response de Symantec ainsi que des laboratoires de test de logiciels de sécurité.
Autres articles de Paul PindellArticles de blog associés
F5 NGINXaaS pour Google Cloud : des applications résilientes et évolutives
Découvrez comment NGINXaaS s’intègre à Google Cloud pour renforcer les performances et la sécurité, et préparer vos applications critiques à un avenir propulsé par l’IA.
L’intégration de F5 Web Application Firewall (WAF) à AWS est disponible dès aujourd’hui
En faisant appel à un partenaire de déploiement AWS WAF tel que F5, vous pouvez renforcer la sécurité de vos applications web grâce à des règles personnalisées qui bloquent les schémas d’attaque courants, comme les injections SQL ou les attaques par scripts intersites (XSS).
Appliquer le principe de Peter Parker à l’inspection TLS
« Un grand pouvoir implique de grandes responsabilités. » Si l’on en trouve des échos chez Voltaire et Churchill, cette citation est surtout connue grâce aux bandes dessinées Spider-Man, où elle est attribuée à l’oncle Ben. Bien entendu, si cette phrase est si répandue dans la culture populaire, c’est notamment parce qu’elle peut s’appliquer à une multitude de situations et de sujets, y compris à l’inspection TLS.
Le NetOps a besoin de défenseurs, pas d’adversaires
Il est important de reconnaître que les équipes NetOps ne sont pas toujours celles qui font obstacle au déploiement de la dernière nouveauté, application ou service. Les freins à la rapidité sont souvent dus au fait que les organisations n’adoptent pas tous les principes du DevOps lorsqu’elles cherchent à transformer leurs opérations informatiques.
Mise à jour des services applicatifs : sécurité, rapidité et visiteurs suspects
Il est de nouveau temps de nous pencher sur les services applicatifs que les entreprises utilisent réellement pour rendre leurs applications plus rapides et plus sûres. On constate notamment une hausse du recours aux services de protection contre les bots, ainsi que la progression lente mais régulière de HTTP/2. Bien qu’il ne s’agisse pas d’une application…
Les templates prennent le contrôle du cloud
Les modèles s’imposent dans le cloud. Lisez le blog de F5 pour découvrir comment l’infrastructure en tant que code et les API déclaratives automatisent la mise à disposition des applications.