Simplifiez et renforcez la sécurité et les performances de l’inférence IA avec F5, Intel et Dell

Kunal AnandDirecteur des produits | F5

Les entreprises cherchent à créer de nouvelles applications et de nouveaux workflows basés sur l’IA. Mais leur exploitation peut s’avérer complexe. La multiplicité des frameworks d’IA et des environnements applicatifs complique la tâche des développeurs et des équipes de sécurité. Ils ont besoin d’une solution qui facilite la conception, l’exécution et la sécurisation de l’inférence rapide.

Simplifiez le développement et la sécurité de l’IA

La boîte à outils OpenVINO™ d’Intel est une solution open source qui accélère l’inférence de l’IA tout en offrant une empreinte réduite et une approche permettant d’écrire le code une seule fois et de le déployer partout. Elle aide les développeurs à créer des solutions d’IA évolutives et efficaces avec relativement peu de lignes de code. Les développeurs peuvent utiliser des modèles d’IA entraînés à l’aide de frameworks populaires tels que TensorFlow, PyTorch, ONNX, entre autres. Avec OpenVINO, ils commencent par convertir les modèles, puis peuvent les optimiser et les compresser davantage afin d’obtenir des réponses plus rapides. Le modèle d’IA est alors prêt à être déployé en intégrant l’environnement d’exécution OpenVINO à leur application afin de la doter de capacités d’IA. Les développeurs peuvent déployer leur application enrichie par l’IA au moyen d’un conteneur léger dans un centre de données, dans le cloud ou en périphérie, sur diverses architectures matérielles.

Un développeur peut ne pas souhaiter héberger le modèle avec l’application ni l’intégrer à celle-ci. Le modèle de l’application peut nécessiter des mises à jour ponctuelles, et l’application peut avoir besoin d’exécuter plusieurs modèles pour fournir les fonctionnalités proposées. OpenVINO répond à ces besoins avec le serveur de modèles OpenVINO, un système hautes performances défini par logiciel qui permet de mettre des modèles à disposition dans une architecture client-serveur. Le serveur de modèles OpenVINO offre notamment les avantages suivants :

1. Facilité de déploiement : Grâce à son architecture conteneurisée utilisant Docker, le déploiement de modèles avec OpenVINO Model Server devient plus simple et plus évolutif. Cette solution masque la complexité de la configuration matérielle et des dépendances.
2. Évolutivité : OpenVINO Model Server peut être déployé dans un environnement en cluster afin de gérer d’importantes charges d’inférence et d’effectuer une mise à l’échelle horizontale selon les besoins. Cette évolutivité garantit des performances d’inférence constantes, même en cas de charges de travail élevées.
3. Inférence à distance : Le serveur de modèles OpenVINO prend en charge l’inférence à distance, ce qui permet aux clients d’exécuter des inférences sur des modèles déployés sur des serveurs distants. Cette fonctionnalité est utile pour les applications distribuées ou lorsque l’inférence doit être exécutée sur des serveurs puissants alors que l’appareil client dispose de ressources limitées.
4. Surveillance et gestion : Le serveur de modèles OpenVINO offre des fonctionnalités de surveillance et de gestion qui permettent aux administrateurs de suivre les performances d’inférence et l’utilisation des ressources, ainsi que de gérer efficacement les modèles déployés.

OpenVINO simplifie l’optimisation, le déploiement et la mise à l’échelle des modèles d’IA, mais ceux-ci doivent également être sécurisés pour fonctionner en production. F5 NGINX Plus fait office de proxy inverse, assurant la gestion du trafic et la protection des serveurs de modèles d’IA. Grâce à des configurations à haute disponibilité et à des contrôles d’intégrité actifs, NGINX Plus garantit que les requêtes provenant d’applications, de workflows ou d’utilisateurs atteignent un serveur de modèles OpenVINO opérationnel. Il permet également d’utiliser des certificats HTTPS et mTLS pour chiffrer les communications entre l’application utilisateur et le serveur de modèles sans ralentir les performances.

Lorsqu’il est déployé sur le même serveur hôte ou la même machine virtuelle, NGINX Plus filtre le trafic entrant et surveille l’état des conteneurs en amont. Il propose également la mise en cache du contenu afin d’améliorer les performances et de réduire la charge de travail du serveur de modèles. Cette combinaison assure une sécurité efficace, mais NGINX Plus et les serveurs de modèles OpenVINO peuvent être amenés à se disputer les ressources lorsqu’ils sont déployés sur un seul processeur. Cela peut entraîner des ralentissements ou une dégradation des performances.

Accélérez les performances des modèles d’IA

Étant donné que les services d’infrastructure tels que la commutation virtuelle, la sécurité et le stockage peuvent mobiliser un nombre important de cycles processeur, Intel a développé l’unité de traitement d’infrastructure Intel® (Intel® IPU), qui libère des cœurs de processeur afin d’améliorer les performances des applications. Les unités Intel IPU sont des périphériques réseau programmables qui gèrent intelligemment les ressources au niveau du système en accélérant de manière sécurisée les fonctions d’infrastructure réseau et de stockage dans un datacenter. Elles sont compatibles avec le serveur Dell PowerEdge R760 équipé de processeurs Intel® Xeon®, offrant ainsi performances et polyvalence pour les charges de travail exigeantes en ressources de calcul. L’intégration au contrôleur de gestion intégré Dell iDRAC assure une régulation thermique en boucle fermée de l’IPU.

L’utilisation d’une IPU Intel avec un serveur rack Dell PowerEdge R760 peut améliorer les performances des serveurs de modèles OpenVINO comme de F5 NGINX Plus. L’exécution de NGINX Plus sur l’IPU Intel offre de hautes performances et une grande évolutivité grâce aux accélérateurs matériels de l’IPU Intel. Cette combinaison permet également de libérer des ressources processeur pour les serveurs de modèles d’IA.

L’intégration d’une IPU Intel à NGINX Plus crée une isolation de sécurité entre NGINX Plus et les serveurs de modèles OpenVINO. Cette couche de sécurité supplémentaire protège contre d’éventuelles vulnérabilités communes et contribue ainsi à préserver les données sensibles du modèle d’IA.

Alimentez l’IA en périphérie

La solution combinée de F5, Intel et Dell facilite la prise en charge de l’inférence d’IA en périphérie. Grâce à NGINX Plus sur l’IPU Intel, les réponses sont plus rapides et plus fiables pour les applications en périphérie telles que l’analyse vidéo et l’IoT.

La solution convient également aux réseaux de diffusion de contenu grâce à l’optimisation de la mise en cache et de la diffusion de contenu. Elle prend aussi en charge les déploiements de microservices distribués qui nécessitent une fiabilité constante dans différents environnements.

Accélérez la sécurité et les performances de l’IA avec F5, Intel et Dell

Exécutez des inférences d’IA hautes performances partout, de manière sécurisée et homogène, grâce à une solution combinant matériel et logiciel. Déployez facilement l’inférence d’IA dans des centres de données, des clouds ou des sites en périphérie, tout en garantissant la disponibilité et les performances nécessaires aux utilisateurs et aux applications basées sur l’IA.

En savoir plus sur le partenariat entre F5 et Intel sur f5.com/intel.

À propos de l’auteur

Kunal AnandDirecteur des produits | F5

Kunal Anand dirige l’organisation produit de F5 en tant que directeur des produits. Responsable de la vision, de la stratégie et de l’exécution des produits, il veille au développement de solutions révolutionnaires qui répondent à des enjeux critiques et offrent aux clients des expériences exceptionnelles. Dans ses précédentes fonctions de directeur de la technologie et de l’IA, Kunal a défini la stratégie et la vision de l’entreprise en matière de technologie et d’intelligence artificielle. Avant de rejoindre F5, Kunal a occupé le double poste de directeur de la technologie et de directeur de la sécurité des systèmes d’information chez Imperva. Son parcours chez Imperva a débuté en 2018 avec l’acquisition de Prevoty, une start-up spécialisée dans la sécurité des applications qu’il avait cofondée en 2013. Avant de rejoindre Prevoty, il était directeur de la technologie chez BBC Worldwide. Fort d’une longue expérience en matière d’innovation et d’une solide expertise technique, Kunal a dirigé des équipes chargées de la sécurité, des données, de la technologie et de l’ingénierie chez Gravity, MySpace et au Jet Propulsion Laboratory de la NASA. Kunal possède plus de 15 ans d’expérience dans les domaines de l’IA et de l’apprentissage automatique, notamment dans l’entraînement de modèles, l’utilisation d’algorithmes fondés sur l’IA pour améliorer les produits, ainsi que la conception et la mise en œuvre d’architectures d’IA. Kunal est titulaire d’une licence en informatique du Babson College.

Autres articles de Kunal Anand