Déployez et sécurisez l’IA d’entreprise à la vitesse de l’inférence

La plupart des clusters de GPU d’entreprise fonctionnent bien en deçà de leur capacité. Pour améliorer l’utilisation des GPU, les organisations doivent mettre en œuvre des techniques d’optimisation de l’exécution, telles que le traitement continu par lots, le décodage spéculatif et la quantification, qui permettent d’obtenir un débit nettement supérieur à partir du matériel. Elles peuvent également recourir à un routage intelligent de l’inférence afin d’envoyer les requêtes simples vers des modèles plus petits, tout en mettant en cache les réponses récurrentes pour éviter de les recalculer. En alimentant correctement ces GPU et en instrumentant l’ensemble de la pile, les organisations peuvent réduire le coût par jeton.

Les GPU consomment les données plus vite que le pipeline ne peut les acheminer, si bien que ces coûteux accélérateurs restent inactifs pendant qu’ils attendent. Les systèmes de stockage traditionnels n’ont pas été conçus pour fournir l’accès soutenu et à haut débit aux données qu’exigent les processus modernes d’entraînement et d’inférence. Le problème du déplacement des données s’aggrave lorsque les schémas d’accès sont imprévisibles, que le prétraitement est assuré par un CPU surchargé et que les données sont dispersées dans des silos sans voie d’accès rapide et unifiée vers les ressources de calcul. Les entreprises peuvent remédier à la lenteur du déplacement des données en considérant leur acheminement comme une infrastructure conçue à cet effet. Elles doivent recourir au préchargement, à la mise en cache, au chargement parallèle et à un stockage à haut débit qui rapproche les données des GPU. Grâce à ces techniques, elles peuvent alimenter en continu des clusters plus petits plutôt que de maintenir des clusters plus importants constamment privés de données.

La sécurité traditionnelle des API et des données protège les API et les informations sensibles au moyen de contrôles tels que l’authentification, l’autorisation, la validation des schémas, la détection des menaces et la protection des données. Toutefois, ces contrôles ne sont pas conçus pour interpréter de manière fiable le sens sémantique et l’intention des requêtes en langage naturel, ce qui crée des risques supplémentaires pour les systèmes d’IA. La sécurité de l’IA à l’exécution protège les systèmes lors des interactions avec les utilisateurs. Elle interprète les entrées en langage naturel afin de détecter les menaces plutôt que de s’appuyer sur des règles fixes, et elle examine les sorties avant qu’elles ne parviennent aux utilisateurs pour s’assurer que le modèle ne fournit pas de contenu préjudiciable et n’expose pas de données sensibles.

Selon l’OWASP (Open Worldwide Application Security Project), une organisation à but non lucratif, la principale menace pesant sur les systèmes d’IA est l’injection de prompts, qui consiste pour des attaquants à élaborer des entrées visant à manipuler le comportement des modèles. La menace suivante dans le classement est la divulgation d’informations sensibles, lorsque les modèles révèlent dans leurs sorties des données personnelles, des prompts système ou des éléments de propriété intellectuelle. Les garde-fous pour l’IA peuvent contribuer à bloquer ces menaces ainsi que d’autres types de risques. Les garde-fous appliqués aux entrées détectent les injections de prompts et les tentatives de contournement des instructions système afin d’empêcher les modèles de prendre connaissance d’instructions malveillantes. Les garde-fous appliqués aux sorties contrôlent et valident les réponses des modèles avant qu’elles ne parviennent aux utilisateurs ou ne déclenchent des actions en aval, contribuant ainsi à empêcher l’exposition de données sensibles dans les sorties des modèles.

Trois raisons principales poussent les entreprises à rapatrier leurs données et leurs charges de travail d’IA depuis le cloud vers des environnements souverains ou isolés. Premièrement, nombre d’entre elles doivent renforcer le contrôle exercé sur les données réglementées ou sensibles afin de respecter les réglementations relatives à la souveraineté des données, tout en évitant que leurs données d’entraînement propriétaires ne soient hébergées dans les centres de données de fournisseurs de cloud externes. Deuxièmement, les organisations souhaitent éviter les frais élevés de sortie de données et les factures imprévisibles des fournisseurs de cloud. Enfin, elles cherchent à améliorer les performances de l’inférence d’IA en supprimant la surcharge liée aux infrastructures cloud mutualisées.

Pour prévenir les fuites de données lors de l’utilisation d’agents d’IA et d’outils d’IA générative (GenAI), les équipes SecOps des entreprises doivent mettre en œuvre une stratégie de défense multicouche. Celle-ci doit notamment prévoir des garde-fous en ligne et en temps réel pour les entrées et les sorties, limiter les privilèges d’accès des agents d’IA, sécuriser le stockage d’objets d’IA utilisé pour la génération augmentée par récupération (RAG), protéger l’accès aux API, et mener en continu des exercices de red teaming ainsi que des actions correctives pour remédier aux vulnérabilités détectées. Parallèlement, les équipes doivent déployer des outils permettant de détecter, de classifier et de régir l’utilisation de l’IA par les collaborateurs.

F5 AI Guardrails contribue à faire respecter les politiques lors de l’exécution et à protéger contre les risques tels que l’injection de prompts, la fuite de données sensibles, les résultats préjudiciables et les actions non sécurisées des agents. F5 AI Red Team s’appuie sur des tests contradictoires pour détecter les vulnérabilités et les faiblesses avant et pendant le déploiement. F5 AI Gateway fournit un point de contrôle centralisé pour régir l’accès aux modèles, aux agents et aux outils, tandis que F5 Workforce AI Security offre une visibilité sur les usages autorisés et non autorisés de l’IA dans toute l’entreprise. Ensemble, ces fonctionnalités font partie de la F5 AI Security Platform. Pour étendre la protection et la mise à disposition aux applications, aux API et aux environnements distribués, la F5 Application Delivery and Security Platform (ADSP) propose notamment des fonctionnalités de protection des applications web et des API, de gestion des bots, d’atténuation des attaques DDoS et de mise à disposition des applications.