L’ANSSI (Agence Nationale de la Sécurité des Systèmes d’Information) a publié le 29 avril 2024 ses recommandations de sécurité pour un système d’IA générative.

Ce guide très complet et très informatif est une mine d’informations pour comprendre le fonctionnement d’un système d’IA.

L’Agence fait les constats suivants :

– le récent engouement concernant ces produits et services, dont certains sont rendus facilement accessibles au grand public, a entraîné des réflexions au sein des organisations (entreprises, administrations),

– le déploiement d’outils d’IA générative engendre de nouvelles menaces pouvant avoir un impact conséquent, par exemple sur la confidentialité des données qu’ils traitent, mais également sur l’intégrité des systèmes d’information (SI) avec lesquels ils sont connectés.

Le guide fournit également un exemple d’architecture générique d’un système d’IA générative, très instructif pour comprendre les interactions entre ces différents environnements.

De manière très didactique, ce document décrit le système d’IA générative avec ses 3 phases du cycle de vie, à savoir :

– Une première phase d’entraînement du modèle d’IA à partir de données spécifiquement choisies, puis
– une phase d’intégration et de déploiement,
– une phase de production opérationnelle dans laquelle les utilisateurs peuvent
accéder au modèle d’IA entraîné,

Les 35 recommandations émises par l’ANSSI sont toutes aussi importantes les unes que les autres, nous en avons sélectionné certaines, ci-après, qui nous semblent faire écho à des notions familières aux personnes en charge de la maitrise des systèmes d’information au sein des industries de santé :

• Intégrer la sécurité dans toutes les phases du cycle de vie d’un système d’IA (Recommandation 1)
• Mener une analyse de risque sur les systèmes d’IA avant la phase d’entraînement (Recommandation 13)
• Prendre en compte les enjeux de confidentialité des données dès la conception du système d’IA (Recommandation 7)
• Proscrire l’usage automatisé de systèmes d’IA pour des actions critiques sur le SI (Recommandation 9)
• Maîtriser et sécuriser les accès à privilèges des développeurs et des administrateurs sur le système d’IA (Recommandation 10)
• Prévoir un mode dégradé des services métier sans système d’IA (Recommandation 20)
• Prévoir des tests fonctionnels métier des systèmes d’IA avant déploiement en production (Recommandation 24)
• Journaliser l’ensemble des traitements réalisés au sein du système d’IA (Recommandation 29)
• Proscrire l’utilisation d’outils d’IA générative sur Internet pour un usage professionnel impliquant des données sensibles (Recommandation 34)
• Effectuer une revue régulière de la configuration des droits des outils d’IA générative sur les applications métier (Recommandation 35)

Source :
Recommandations de sécurité pour un système d’IA générative – Guide ANSSI – 29 avril 2024