Ajoutez simplicité, sécurité et performances à l'inférence IA avec F5, Intel et Dell

Les entreprises cherchent à créer de nouvelles applications et de nouveaux flux de travail basés sur l'IA. Mais les exploiter avec succès peut s'avérer délicat. Plusieurs cadres d’IA et environnements d’application créent de la complexité pour les développeurs et les équipes de sécurité. Ils ont besoin d’une solution qui facilite la création, l’exécution et la sécurisation d’une inférence rapide.

Le kit OpenVINO™ d’Intel est un kit open source qui accélère l’inférence d’IA tout en offrant un encombrement réduit et une approche « écrivez une fois, déployez partout ». Il vous aide à concevoir des solutions d’IA efficaces et évolutives avec peu de lignes de code. Vous pouvez utiliser des modèles d’IA entraînés avec des frameworks populaires comme TensorFlow, PyTorch, ONNX, et bien d’autres. Avec OpenVINO, vous commencez par convertir puis optimiser et compresser les modèles pour accélérer les réponses. Le modèle d’IA est alors prêt à être déployé en intégrant l’environnement d’exécution OpenVINO à votre application pour la rendre intelligente. Vous pouvez déployer votre application enrichie d’IA via un conteneur léger, que ce soit dans un centre de données, dans le cloud ou en périphérie, sur différentes architectures matérielles.

Un développeur peut ne pas vouloir héberger le modèle avec l’application ou l’intégrer dans l’application. Le modèle de l’application peut nécessiter d’être mis à jour de temps à autre et l’application peut avoir besoin d’exécuter plusieurs modèles pour fournir les fonctionnalités fournies par l’application. OpenVINO propose une solution avec le serveur de modèles OpenVINO, un système hautes performances défini par logiciel pour servir des modèles dans une architecture client-serveur. Les avantages du serveur de modèles OpenVINO incluent :

1. Facilité de déploiement : Avec son architecture conteneurisée utilisant Docker, le déploiement de modèles avec le serveur de modèles OpenVINO devient plus simple et évolutif. Il fait abstraction des complexités de la configuration matérielle et des dépendances.
2. Évolutivité : Le serveur de modèles OpenVINO peut être déployé dans un environnement en cluster pour gérer des charges d'inférence élevées et évoluer horizontalement selon les besoins. Cette évolutivité garantit que les performances d’inférence restent cohérentes même sous de lourdes charges de travail.
3. Inférence à distance : Le serveur de modèles OpenVINO vous permet d'effectuer des inférences à distance, en réalisant les calculs sur des modèles déployés sur des serveurs distants. Cette capacité s’avère précieuse pour les applications distribuées ou lorsque l’inférence nécessite des serveurs puissants, tandis que votre appareil client dispose de ressources limitées.
4. Surveillance et gestion : Le serveur de modèles OpenVINO vous permet de surveiller les performances d'inférence et l'utilisation des ressources, tout en gérant efficacement les modèles déployés.

OpenVINO simplifie l'optimisation, le déploiement et la mise à l'échelle des modèles d'IA, mais pour fonctionner en production, ils ont également besoin de sécurité. F5 NGINX Plus fonctionne comme un proxy inverse, offrant une gestion du trafic et une protection pour les serveurs de modèles d'IA. Grâce à des configurations à haute disponibilité et à des contrôles de santé actifs, NGINX Plus peut garantir que les demandes des applications, des flux de travail ou des utilisateurs atteignent un serveur modèle OpenVINO opérationnel. Il permet également l’utilisation de certificats HTTPS et mTLS pour crypter les communications entre l’application utilisateur et le serveur modèle sans ralentir les performances.

Lorsqu'ils sont déployés sur le même serveur hôte ou dans la même machine virtuelle, NGINX Plus filtre le trafic entrant et surveille la santé des conteneurs en amont. Nous proposons également une mise en cache de contenu pour accélérer les performances et alléger la charge du serveur de modèles. Cette solution garantit une sécurité efficace, mais NGINX Plus et les serveurs de modèles OpenVINO peuvent entrer en concurrence pour les ressources sur un seul processeur. Cela peut provoquer des ralentissements ou une baisse des performances.