Sécurité d'inférence IA améliorée avec Intel OpenVINO : Exploitation d'Intel IPU, F5 NGINX Plus et Red Hat OpenShift

À la base, cette configuration est conçue pour dynamiser l’inférence de l’IA en déchargeant les tâches d’infrastructure critiques sur l’IPU Intel. Cela permet au système hôte, exécutant le serveur d'inférence Intel OpenVINO, de consacrer ses ressources à ce qui compte vraiment : fournir des résultats d'inférence rapides et précis. Associé à F5 NGINX Plus et au système d’exploitation Enterprise Linux de Red Hat, OpenShift et MicroShift, le système atteint un équilibre unique entre performances, évolutivité et sécurité.

Bien que le flux de travail lui-même soit convaincant, les avantages architecturaux ajoutent encore plus de valeur. En transférant les tâches d’infrastructure à l’IPU, la solution offre à la fois des avantages en termes de performances et une répartition claire des responsabilités pour les administrateurs.

L’un des avantages essentiels du déploiement de NGINX Plus sur l’IPU Intel est le déchargement des tâches d’infrastructure du processeur du système hôte. Des éléments tels que le routage du trafic, le décryptage et le contrôle d’accès, qui peuvent être gourmands en ressources, sont entièrement gérés par l’IPU. Cela signifie que le processeur hôte dispose de beaucoup plus de cycles disponibles pour se concentrer sur les charges de travail spécifiques à l'application, comme l'exécution de modèles d'inférence Intel OpenVINO supplémentaires ou la gestion de processus d'IA gourmands en ressources.

Dans des scénarios réels, cela se traduit par une meilleure utilisation de votre matériel serveur coûteux et hautes performances. Au lieu d'être alourdi par des tâches d'infrastructure en arrière-plan, le processeur hôte peut fonctionner à pleine capacité pour les charges de travail qui vous intéressent le plus.

Un autre avantage unique de la solution est la séparation des services d’infrastructure et des charges de travail des application . En exécutant toutes les tâches d'infrastructure (telles que NGINX Plus, la gestion du réseau et le contrôle d'accès) sur l'IPU Intel tout en conservant le serveur d'inférence Intel OpenVINO sur l'hôte, nous avons créé une division claire et nette entre les responsabilités du plan de contrôle.

L'administrateur application Intel OpenVINO est responsable de la gestion des charges de travail d'inférence, du déploiement et de la mise à l'échelle des modèles d'IA et de l'optimisation des performances au niveau de l'application. Alors que l'administrateur de l'infrastructure supervise l'environnement Intel IPU, gère le routage, applique le contrôle d'accès (via les règles FXP) et garantit que les services d'infrastructure fonctionnent de manière sécurisée et efficace en configurant l'instance NGINX Plus.

Cette séparation des tâches élimine l’ambiguïté, renforce la collaboration organisationnelle et garantit que chaque administrateur peut se concentrer directement sur son domaine d’expertise respectif.

Ensemble, ces avantages rendent cette solution non seulement pratique mais également efficace pour faire évoluer les flux de travail d’IA d’entreprise tout en maintenant une utilisation des ressources et une sécurité de premier ordre.

L’un des aspects remarquables de ce système est la manière dont il exploite les opérateurs DPU Red Hat MicroShift et OpenShift pour rendre la configuration et la mise à l’échelle pratiquement sans effort. Honnêtement, ce type d’automatisation semble magique quand on le voit en action. Laissez-moi vous l'expliquer :

Il y a deux groupes. Il y a le cluster OpenShift qui s’exécute sur le système hôte. Plus précisément, il s’agit d’un nœud de travail OpenShift, et il s’exécute sur le Dell R760. Le deuxième cluster est un cluster MicroShift. Il est déployé sur les cœurs ARM de l'IPU Intel. Cette version légère d'OpenShift offre la flexibilité des conteneurs sans la surcharge d'un environnement Kubernetes complet.

Ces clusters fonctionnent ensemble via des opérateurs DPU, qui effectuent le gros du travail en coulisses. Ils communiquent entre eux et échangent des données sur les pods et les réseaux actifs. Cette connexion est particulièrement importante pour la gestion dynamique des règles de sécurité et de circulation.

Voici la partie qui facilite vraiment la vie des développeurs : la création de règles dynamiques. Auparavant, la configuration des règles FXP (utilisées pour gérer le contrôle d’accès au trafic PCIe) nécessitait un effort manuel et une connaissance de la programmation P4. Il ne vous reste plus qu'à déployer vos charges de travail et les opérateurs gèrent tout automatiquement :

L'opérateur crée de nouvelles règles FXP de manière dynamique chaque fois que des pods d'inférence OpenVINO correctement étiquetés sont déployés. Ces règles FXP permettent la communication sur le bus PCIe et, à mesure que les charges de travail augmentent ou diminuent, le système ajuste automatiquement ces règles d'accès, éliminant ainsi les incertitudes de la configuration.

Ce niveau d’automatisation signifie que n’importe qui, des développeurs aux administrateurs système, peut se concentrer sur les charges de travail de l’IA sans se retrouver coincé dans les détails de la configuration de l’infrastructure.

Entrons maintenant dans le vif du sujet : comment fonctionne l’ensemble de ce système pour l’inférence de l’IA. Prenons l’exemple de la reconnaissance d’espèces animales dans des images à l’aide de la boîte à outils de déploiement d’apprentissage profond Intel OpenVINO. Voici à quoi ressemble le flux de travail étape par étape

Tout d’abord, les données d’image cryptées sont envoyées à partir d’un client IA via un appel API GRPCS. NGINX Plus, exécuté sur l'IPU Intel, décrypte les données et agit comme un proxy de trafic. Ce trafic circule ensuite en toute sécurité sur le bus PCIe vers les serveurs d’inférence Intel OpenVINO hébergés sur le Dell R760. Les serveurs d'inférence Intel OpenVINO traitent les images à l'aide du modèle d'IA ResNet pour déterminer l'espèce dans chaque image. Par exemple, il pourrait déduire : « Ceci est un golden retriever » ou « C’est un chat tigré ». Les résultats sont renvoyés via le même chemin, via NGINX Plus et ensuite vers le client.

Le système peut être configuré pour gérer plusieurs clients IA traitant simultanément des lots d’images. Même si plusieurs clients exécutent des demandes d’inférence en boucle, le système restera sécurisé, transparent et réactif.

Parlons de l’un des principaux avantages de ce système : la sécurité. L'IPU Intel ne se contente pas de traiter le trafic : elle protège activement la communication entre l'infrastructure et les charges de travail d'inférence exécutées sur l'hôte.

Voici comment cela fonctionne : L'IPU utilise des règles FXP pour contrôler le trafic sur l'interface PCIe. Seul le trafic autorisé par ces règles générées dynamiquement (gérées par les opérateurs DPU) est autorisé à circuler. Cela garantit une communication sécurisée tout en bloquant accès non autorisé au système hôte. Ce type de sécurité en couches permet d’atténuer les risques, en particulier pour les entreprises qui traitent des données sensibles via des pipelines d’IA.

Pour moi, la magie de cette solution réside dans son mélange parfait de performance, d’automatisation et de sécurité. En isolant la gestion de l'infrastructure sur l'IPU tout en hébergeant les charges de travail d'inférence sur la machine hôte, Intel, Red Hat et F5 ont créé une configuration à la fois efficace et sécurisée.

Voici ce qui fait de cette configuration un véritable changement :

• Configuration simplifiée : Oubliez les configurations manuelles. Grâce aux opérateurs DPU et à la création de règles dynamiques, le système est aussi proche du plug-and-play que possible.
• Mise à l'échelle dynamique : Que vous exécutiez un ou vingt modules d’inférence, les règles de communication et de sécurité s’adaptent automatiquement.
• Sécurité renforcée : La séparation nette entre l’infrastructure et les charges de travail, combinée au contrôle d’accès sur le bus PCIe, crée une limite de sécurité robuste.
• Utilisation optimisée des ressources : Le déchargement des tâches d'infrastructure vers l'IPU libère le processeur hôte pour les tâches informatiques hautement prioritaires.
• Répartition claire des responsabilités : Les administrateurs peuvent se concentrer sur leurs domaines (application ou infrastructure) sans se marcher sur les pieds.