Sécuriser l’IA : la menace latente qu’il faut contenir

DeepSeek ; ChatGPT Deep Research ; le plan américain Stargate de 500 milliards de dollars : il peut être difficile de suivre l’incroyable dynamique dont bénéficie actuellement l’IA. Autrefois considérées comme de simples moteurs de recommandation pour Spotify et de filtres pour Snapchat, l’IA générative de nouvelle génération et l’IA agentique rendent possibles des cas d’usage extraordinaires, de la recherche rapide à l’accélération des diagnostics et de la découverte de médicaments.

Ces tendances vont certainement s’accélérer à mesure que l’ère de l’IA agentique s’installera, les agents suivant les instructions humaines pour accomplir des tâches de manière autonome. En effet, la récente enquête AI Radar menée par Boston Consulting Group auprès de 1 803 cadres dirigeants a révélé que 31 % d’entre eux prévoient d’allouer plus de 25 millions de dollars à l’IA en 2025.

Faisons le calcul : cela représente près de 600 entreprises qui déclarent qu’elles dépenseront au moins 25 millions de dollars chacune dans l’IA rien que cette année, soit un total cumulé de 15 milliards de dollars. Et encore, cette estimation semble prudente.

Les trois quarts des dirigeants interrogés par BCG, issus de 12 secteurs dans 19 marchés, ont classé l’IA parmi leurs trois principales priorités stratégiques. Par ailleurs, 72 % des 1 363 participants à l’édition 2024 de l’enquête mondiale de McKinsey sur l’IA ont déclaré avoir déjà adopté l’IA dans au moins une fonction de l’entreprise ; 50 % l’avaient adoptée dans au moins deux fonctions.

La menace dormante

Cependant, dans ce monde en constante évolution, chaque nouveau cas d’usage ouvre une nouvelle surface d’attaque aux acteurs malveillants : ce qui était sûr hier ne le sera pas forcément demain. Bien que les menaces soient déjà manifestes, les considérations de sécurité n’ont pas suivi le rythme de l’engouement des entreprises pour les applications d’IA.

Nous échangeons avec de nombreux RSSI, et certains se montrent désinvoltes, presque apathiques, face au niveau de risque auquel ils sont exposés, alors même qu’ils intègrent l’IA dans leur organisation. Sans surprise, cette attitude change lorsqu’il s’agit de secteurs fortement réglementés.

Nous connaissons tous les défaillances très médiatisées des premiers systèmes d’IA : le chatbot d’une entreprise de livraison qui proférait des jurons et critiquait l’entreprise ; les agrégateurs d’actualités qui inventaient des histoires ; les hallucinations de précédents juridiques qui se sont retrouvées devant les tribunaux. Même Amazon a été contraint de corriger Rufus, son assistant d’achat basé sur l’IA, après que celui-ci a permis un accès libre à son LLM sous-jacent. Outre l’atteinte à son image de marque, Amazon a dû supporter le coût du traitement de requêtes malveillantes.

Dans le cas le plus grave, Character.AI fait l’objet d’une action en justice au civil après qu’un adolescent de 14 ans s’est suicidé à la suite de longues sessions avec l’un de ses chatbots de jeu de rôle. Le chatbot aurait demandé à l’adolescent s’il avait prévu de se suicider et aurait semblé l’encourager à passer à l’acte.

Dans l’ensemble, ces incidents sont considérés comme de regrettables anomalies. Ils devraient au contraire être perçus comme des lignes de faille, des avertissements quant aux dérives possibles de l’IA, même sans intervention malveillante. En cas d’intention malveillante, les dommages potentiels sont démultipliés.

Détection des tremblements

Dans le milieu de la cybersécurité, nous observons déjà des signes de menaces actives, semblables aux secousses qui précèdent une éruption. Le dernier rapport d’OpenAI sur les menaces décrit comment SweetSpecter, un acteur malveillant présumé basé en Chine, a tenté d’utiliser ChatGPT pour mener une cyberopération offensive. Il a notamment interrogé le modèle sur les vulnérabilités de diverses applications et lui a demandé de suggérer de « bons » noms de pièces jointes afin d’éviter leur blocage.

Dans le même temps, l’acteur malveillant a envoyé des e-mails d’hameçonnage contenant des pièces jointes infectées par des logiciels malveillants aux comptes professionnels et personnels d’employés d’OpenAI ainsi qu’à des gouvernements du monde entier. Cela peut sembler être un problème propre à OpenAI, mais toute personne développant des applications à partir d’un modèle de fondation devrait s’en préoccuper, tout comme les innombrables entreprises qui utilisent des applications basées sur des modèles.

Le dernier rapport Threat Insights de HP Wolf Security présente quant à lui le premier cas détecté d’une campagne de logiciels malveillants utilisant des scripts qui ont « très probablement » été écrits à l’aide de l’IA générative. La structure des scripts, les commentaires ainsi que le choix des noms de fonctions et de variables laissent penser que l’auteur de la menace a utilisé l’IA générative pour créer le logiciel malveillant.

Comme le souligne l’équipe HP Wolf : « Cette activité montre que l’IA générative accélère les attaques et facilite l’infection des terminaux par les cybercriminels. » Cette même capacité de l’IA, qui peut être mise au service du bien, peut aussi être détournée — et le sera — par des acteurs malveillants pour causer des dommages dévastateurs.

Une surface d’attaque en expansion

Il est clair que l’IA est appelée à devenir un secteur dominant à l’avenir. À l’échelle mondiale, les financements en capital-risque accordés aux start-up spécialisées dans l’IA ont atteint 131,5 milliards de dollars l’année dernière, soit une hausse de 52 % par rapport à 2023. Au quatrième trimestre 2024, plus de la moitié des financements mondiaux en capital-risque, en valeur, ont été investis dans des entreprises spécialisées dans l’IA.

Ces nouvelles entreprises sont tournées vers l’avenir, améliorent continuellement leurs solutions et lancent sans cesse de nouveaux produits. Parallèlement, les organisations de tous les secteurs sont poussées à exploiter le potentiel de l’IA. Dans un monde où rien n’est statique, standard ou prévisible, la surface d’attaque ne cesse de s’étendre, créant dans la posture de sécurité des failles auxquelles il faut remédier.

Même les organisations qui n’adoptent pas activement l’IA doivent être conscientes de la menace latente. Comme nous l’avons vu, les systèmes d’IA peuvent être utilisés pour décupler l’efficacité de menaces traditionnelles telles que l’hameçonnage, les attaques par force brute, les logiciels malveillants dynamiques et les attaques par déni de service.

Le paysage émergent de la sécurité de l’IA voit apparaître des menaces statiques et agentiques, ainsi que des attaques opérationnelles, ciblant principalement l’IA lors de son exécution. Les injections directes et indirectes de prompts peuvent manipuler les applications d’IA, ce qui soulève des préoccupations en matière de sécurité et de coûts.

Nous savons déjà que tous les modèles de classe mondiale disponibles aujourd’hui peuvent être « cassés » dans une certaine mesure. À mesure que de nouvelles versions voient le jour et que l’adoption de l’IA progresse, la vigilance est indispensable, et non facultative.

Éviter une éruption

Les systèmes d’IA étant par nature dynamiques, de nouvelles vulnérabilités peuvent apparaître — et apparaîtront — de manière inattendue. Sans protocoles de sécurité dédiés et multicouches, même les systèmes les plus robustes peuvent vaciller et tomber en panne. Pour protéger leurs investissements dans l’IA, les organisations doivent associer des capacités de sécurité défensive à des mesures offensives afin d’identifier les vulnérabilités de manière proactive.

Plutôt que de faire appel aux pompiers une fois l’incendie déclaré, les organisations doivent disposer des outils nécessaires pour détecter un futur départ de feu. Les tests d’intrusion et les exercices red team menés sur les modèles et applications d’IA leur permettront d’établir des périmètres de sécurité autour de leurs systèmes, afin d’éviter qu’une menace latente ne devienne active.

Le message est clair : même si l’IA ne figure pas encore parmi vos priorités, les acteurs malveillants vont déjà de l’avant et vos préoccupations actuelles en matière de sécurité s’en trouvent affectées. L’avenir de l’IA dépendant de notre capacité à la sécuriser, cette question concerne le plus grand nombre, et non une minorité.