Le défi de la sécurisation des systèmes d’IA générative

L’essor de l’intelligence artificielle (IA), notamment des modèles de type Large Language Model (LLM), ouvre de nouvelles perspectives pour de nombreux secteurs [1]. Cependant, l’adoption de ces technologies entraîne également des risques de sécurité importants.

En avril 2024, l’Agence Nationale de la Sécurité des Systèmes d’Information (ANSSI) a publié un guide pour sécuriser les systèmes d’IA générative, en tenant compte des spécificités et des vulnérabilités de ces technologies. Quelles sont les mises en garde et recommandations de ce guide ? Dans ce texte nous analysons les risques potentiels ainsi que les scénarios et recommandations présentés dans le guide récemment publié par l’ANSSI.

Cadre et problématiques

L’IA générative, en particulier les LLM, utilise des volumes massifs de données pour produire des réponses à des questions formulées en langage naturel. Leur intégration dans les systèmes d’information peut offrir des gains de productivité substantiels. Cependant, elle introduit également de nouvelles menaces, telles que la manipulation via des requêtes malveillantes, l’infection par altération des données d’entraînement et l’exfiltration d’informations sensibles. Ces systèmes sont exposés à des risques de confidentialité, d’intégrité, de disponibilité et de traçabilité. Par exemple, une attaque réussie pourrait permettre de voler des données d’entraînement, de manipuler les réponses de l’IA ou de provoquer un déni de service [2].

Les enjeux de la sécurisation des systèmes d’IA générative incluent la protection des données sensibles, la garantie de la performance et de la fiabilité des systèmes, ainsi que la prévention des attaques susceptibles de compromettre l’intégrité des modèles. Pour atteindre ces objectifs, il est essentiel que les systèmes d’IA générative intègrent des mécanismes de sécurité robustes [3].

Scénarios d’attaques

L’ANSSI identifie plusieurs scénarios d’attaques :

1. Attaques par manipulation : L’évolution des modèles d’IA générative (GenAI) a été le point culminant de la transformation numérique en 2022. Des modèles comme ChatGPT et Google Bard ont démontré une complexité croissante, soulevant des préoccupations en matière de cybersécurité. De récentes instances ont montré l’utilisation des outils GenAI tant du côté défensif qu’offensif de la cybersécurité. Une étude de PwC révèle que 52% des RSSI et DSI s’attendent à ce que l’IA générative conduise à des cyberattaques catastrophiques dans les 12 prochains mois [4]. Le rapport de l’ANSSI met en évidence les vulnérabilités de ChatGPT, telles que les contournements de sécurité («Jailbreaks»), la manipulation psychologique inverse et les attaques par injection de commandes. Les cybercriminels peuvent utiliser les outils GenAI pour développer des cyberattaques, incluant les attaques d’ingénierie sociale, l’hameçonnage, le piratage automatisé et la création de malwares polymorphes.
2. Attaques par infection : Dans la production de systèmes à grande échelle, le risque de défaillances des composants est une préoccupation majeure. Pour atténuer ces risques, des experts utilisent la surveillance des systèmes pour détecter et répondre aux défaillances, par exemple en intégrant l’IA générative dans les systèmes auto-réparateurs afin d’améliorer les opérations et de faciliter les réparations automatiques. Ainsi, des solutions se développent qui impliquent l’utilisation de l’IA générative pour la détection d’anomalies, la génération de code et le débogage [5].
3. Attaques par exfiltration : Chaque grande invention technique ressuscite le dilemme du double usage. Les techniques d’IA générative, telles que les LLMs et les modèles de diffusion, peuvent être exploitées pour créer de nouvelles attaques et augmenter l’efficacité des attaques existantes [6]. Ces attaques par exfiltration consistent à dérober des informations sur le système d’IA en production, comme les données ayant servi à entraîner le modèle, les données des utilisateurs ou bien des données internes du modèle (paramètres).

Des recommandations pour…

Le guide publié par l’ANSSI a pour objet de donner des recommandations de sécurité sur la mise en œuvre de solutions d’IA générative reposant sur des LLM au sein d’entités publiques et privées. Dans ce sens, l’agence propose des recommandations spécifiques pour chaque phase du cycle de vie des systèmes d’IA : entraînement, déploiement et production.

1. Recommandations générales
   • Intégrer la sécurité dans toutes les phases du projet : appliquer les principes de DevSecOps et de sécurité dès la conception.
   • Évaluer les bibliothèques et modules externes : cartographier et évaluer la confiance des composants externes.
   • Analyser les risques avant l’entraînement : réaliser une analyse de risque détaillée en amont.
   • Cloisonner les environnements : séparer les environnements d’entraînement, de déploiement et de production.
2. Phase d’entraînement
   • Protéger les données d’entraînement : assurer l’intégrité et la légitimité des données.
   • Audits de sécurité : effectuer des audits avant le déploiement pour identifier et corriger les vulnérabilités.
3. Phase de déploiement
   • Mettre en place des passerelles sécurisées : utiliser des passerelles Internet sécurisées.
   • Choisir des hébergements de confiance : privilégier les solutions d’hébergement qualifiées.
4. Phase de production
   • Filtrer les entrées et sorties : implémenter des mécanismes pour détecter et bloquer les requêtes malveillantes.
   • Limiter les actions automatiques : restreindre les actions critiques exécutées automatiquement.

En conclusion : quels enseignements ?

Le guide de l’ANSSI met en lumière les défis de sécurité posés par les systèmes d’IA générative et fournit des recommandations détaillées pour chaque étape de leur cycle de vie. En suivant ces directives, les entités publiques et privées peuvent mieux protéger leurs systèmes d’IA contre les menaces, assurant ainsi un déploiement sécurisé et efficace de ces technologies innovantes.

Quoi qu’il en soit, la protection des systèmes d’IA générative nécessite une approche multidimensionnelle, incluant des audits rigoureux, des évaluations de risque et l’intégration de mesures de sécurité robustes dès la conception et tout au long du cycle de vie des systèmes. Cela mobilise des ressources importantes au sein des organisations, en termes financiers et humains. Ainsi, l’inclusion de compétences techniques au sein des organisations devient une nécessité de plus en plus importante afin d’être autonome et compétent dans la sécurisation de ces systèmes massivement utilisés.

Références

1. ANSSI, “Recommandations de sécurité pour un système d’IA générative,” Apr. 2024.
2. S. Oh and T. Shon, “Cybersecurity Issues in Generative AI,” International Conference on Platform Technology and Service, pp. 97–100, 2023, doi: 10.1109/PLATCON60102.2023.10255179.
3. L. Weidinger et al., “Sociotechnical Safety Evaluation of Generative AI Systems,” arXiv.org, 2023, doi: 10.48550/ARXIV.2310.11986.
4. “Comment l’intelligence artificielle générative va-t-elle impacter le management de la cybersécurité ?” Accessed: May 19, 2024. [Online]. Available: https://www.journaldunet.com/intelligence-artificielle/1529245-comment-l-intelligence-artificielle-generative-va-t-elle-impacter-le-management-de-la-cybersecurite/
5. P. Khlaisamniang, P. Khomduean, K. Saetan, and S. Wonglapsuwan, “Generative AI for Self-Healing Systems,” 2023 18th International Joint Symposium on Artificial Intelligence and Natural Language Processing (iSAI-NLP), 2023, doi: 10.1109/ISAI-NLP60301.2023.10354608.
6. C. Barrett et al., “Identifying and Mitigating the Security Risks of Generative AI,” ArXiv, vol. 6, no. 1, pp. 1–52, 2023, doi: 10.1561/3300000041.
7. I. Solaiman, “The Gradient of Generative AI Release: Methods and Considerations,” Conference on Fairness, Accountability and Transparency, pp. 111–122, Jun. 2023, doi: 10.1145/3593013.3593981.

---