Déployez, sécurisez et optimisez les modèles d'IA pour les applications intelligentes avec F5 et Intel

La nouvelle génération d’applications intelligentes utilise l’automatisation de l’IA en fonction des entrées de données (par exemple, une application d’assurance qui surveille les conditions météorologiques extrêmes) ou peut utiliser l’apprentissage automatique pour adapter et améliorer l’expérience utilisateur. Gartner estime que d’ici 2026, 30 % des nouvelles applications utiliseront l’IA pour piloter des interfaces utilisateur adaptatives personnalisées, contre moins de 5 % aujourd’hui.² 

Mais de nombreuses organisations ne disposent pas des compétences nécessaires pour créer ou utiliser les modèles d’IA dont elles ont besoin. Selon une enquête du Forum économique mondial, les dirigeants estiment que jusqu’à 40 % de leur personnel global pourrait avoir besoin de se recycler pour travailler efficacement aux côtés de l’IA.³ En réponse, de nouvelles solutions émergent pour permettre aux développeurs d’exploiter des modèles d’IA avec un minimum de code.

Les modèles d’IA nécessitent également une puissance de calcul importante, ce qui peut créer des limitations. Bien que le placement des modèles d’IA à proximité de la source d’entrée réduise la latence pour l’inférence, les emplacements périphériques manquent souvent des ressources nécessaires pour des performances d’IA acceptables.

Pour faciliter l'utilisation par les développeurs et optimiser les ressources, Intel a développé OpenVINO, une boîte à outils open source qui accélère l'inférence de l'IA tout en offrant une empreinte plus petite et une approche « écrire une fois, déployer n'importe où ». Il permet aux programmeurs de développer des solutions d’IA évolutives et efficaces avec relativement peu de lignes de code. OpenVINO peut également convertir et optimiser les modèles d'IA pour les exécuter dans des centres de données, dans le cloud ou en périphérie.

Bien qu'OpenVINO rende l'IA plus accessible pour les scénarios du monde réel, tels que l'inférence de l'IA, il a besoin de fonctionnalités de sécurité et de livraison tout comme les applications. Un déploiement OpenVINO peut être constitué de centaines ou de milliers de serveurs de modèles basés sur des conteneurs. Pour fournir de manière fiable des résultats d’inférence aux utilisateurs ou aux applications, vous avez besoin d’un moyen de surveiller l’état du serveur et de gérer le trafic. F5 NGINX Plus peut sécuriser les serveurs du modèle OpenVINO.

Bien qu'il soit possible d'utiliser la version open source de NGINX avec OpenVINO, l'utilisation de NGINX Plus ajoute des fonctionnalités précieuses telles que la haute disponibilité, les contrôles de santé actifs et un support primé. NGINX Plus fournit également un équilibrage de charge et une terminaison SSL afin que les applications et les utilisateurs puissent se connecter de manière fiable et sécurisée à vos serveurs de modèle OpenVINO.

Pour une meilleure disponibilité, NGINX Plus peut être déployé en paire active-passive. Cela crée une solution de haute disponibilité, utilisant le serveur principal pour traiter activement le trafic tandis que la sauvegarde surveille l'état de santé et prend le relais en cas de problème. La mise en cache de contenu et la terminaison SSL améliorent les performances en réduisant la charge sur vos serveurs de modèles OpenVINO.

Les contrôles de santé actifs dans NGINX Plus surveillent vos serveurs modèles pour garantir que le trafic est envoyé uniquement vers les serveurs disponibles. Sécurisez et validez le trafic chiffré entrant à l'aide de certificats mTLS et utilisez des analyses et des tableaux de bord pour anticiper ou résoudre les problèmes avec vos serveurs. La nature légère de NGINX Plus, ainsi que le support de premier ordre pour l'installation, le déploiement et le débogage, facilitent son adoption pour les besoins de vos applications basées sur l'IA.