Audit des algorithmes d’apprentissage automatique : un livre blanc pour les auditeurs publics

À mesure que le déploiement de l’IA et du ML s’intensifie, il sera impératif pour les auditeurs publics de relever les défis posés par cette technologie progressivement invasive.

par Jan Roar Beckstrom, Data Scientist en chef—The Innovation Lab, Bureau du vérificateur général de Norvège

Les autorités publiques et les entités gouvernementales ont déjà commencé à développer et à mettre en œuvre des algorithmes d’intelligence artificielle (IA) et d’apprentissage automatique (ML) pour améliorer les services publics et réduire les coûts.

Bien que les gains potentiels soient immenses, cette technologie présente également de nouveaux défis et risques, tels que la sécurité des données, la possibilité d’un traitement inégal automatisé et institutionnalisé et la production de masse de décisions incorrectes ou discriminatoires.

À mesure que l’IA deviendra plus répandue, il deviendra de plus en plus nécessaire pour les institutions supérieures de contrôle (ISC) d’auditer les applications basées sur des algorithmes d’IA et de ML, généralement effectuées dans le cadre de cas spéciaux d’audit de performance ou de conformité. De plus, les modèles d’IA ont tendance à être intégrés dans des infrastructures de technologie de l’information (TI) plus larges, ce qui signale la nécessité d’incorporer des éléments d’audit informatique.

Actuellement, il existe peu de conseils pour les auditeurs publics sur la manière d’auditer les algorithmes d’IA et de ML. Pour combler cette lacune, le Bureau du vérificateur général de Norvège, en collaboration avec des collègues spécialistes des sciences des données des ISC de Finlande, d’Allemagne, des Pays-Bas et du Royaume-Uni, a élaboré « Auditing Machine Learning Algorithms : A White Paper for Public Auditors ».

Le document, disponible en ligne sur www.auditingalgorithms.net, résume les principaux risques liés à l’utilisation de l’IA et du ML dans les services publics. Sur la base de l’expérience cumulée des audits d’IA et des audits d’autres projets de développement de logiciels, le livre blanc propose également un catalogue d’audit qui comprend des approches méthodologiques pour les audits d’applications d’IA.

Cet article aborde brièvement certains des points clés.

Gestion de projet et gouvernance des systèmes d’IA

Une connaissance technique hautement spécialisée des modèles d’IA est-elle nécessaire pour auditer les algorithmes ? Pas nécessairement.

L’audit du développement d’un système d’IA a beaucoup en commun avec n’importe quel audit de gestion de projet. Si une agence gouvernementale a introduit l’IA dans un contexte spécifique, une très bonne et simple question peut être : « Y a-t-il un objectif clair sur la réalisation souhaitée ? » De plus, si des consultants externes implémentaient le système d’IA, “Existe-t-il une structure durable pour maintenir le modèle une fois les consultants partis ?”

Pour atténuer le besoin de compétences spécialisées, il est essentiel que l’agence dispose d’une documentation suffisante sur le développement du modèle et d’un personnel en place qui comprenne le modèle.

Considérations relatives aux données

La qualité des données est toujours importante, mais dans la modélisation de l’IA, elle est cruciale. Des données simplifiées et biaisées peuvent conduire à des résultats erronés involontaires.

Un exemple : si les mêmes données sont utilisées à la fois pour construire le modèle (pendant la phase de formation) et pour vérifier les performances (pendant les tests ou la validation), les métriques de performance seront très probablement gonflées. Ce « surajustement » entraîne une perte de performances lorsqu’il est utilisé sur de nouvelles données de production inconnues.

Une autre considération importante en matière de données concerne la confidentialité et l’utilisation des données personnelles. L’Union européenne a institué le Règlement général sur la protection des données (RGPD), qui maintient la minimisation des données (limitation de la quantité d’informations personnelles utilisées à ce qui est nécessaire pour atteindre l’objectif concerné) comme principe central. Dans un contexte d’IA, cela équivaut à restreindre l’utilisation généralisée des informations personnelles lors de la formation ou du test de modèles. Bien que les pays d’autres parties du monde aient des réglementations différentes, minimiser l’utilisation des données personnelles à ce qui est strictement essentiel est une bonne règle empirique.

Développement d’un modèle

Le développement de modèles transparents et bien documentés facilite la reproductibilité, qui peut être facilement testée par un auditeur disposant de connaissances suffisantes en IA et ML lors d’un examen de la documentation.

De préférence, la documentation comprendra une base de code bien structurée et bien commentée (selon les normes du langage de codage), des enregistrements détaillés du matériel et des logiciels utilisés et des explications sur la façon dont le modèle sera maintenu une fois mis en production.

Il est tout aussi important que l’algorithme d’IA ou de ML sélectionné soit bien articulé, en particulier si un modèle difficile à expliquer est utilisé. La formation et le test du modèle choisi par rapport à d’autres modèles peuvent être utiles aux auditeurs pour vérifier le modèle qui a été choisi.

L’équité et l’égalité de traitement restent au premier plan du développement de modèles, car les biais algorithmiques peuvent potentiellement conduire à une discrimination institutionnalisée.

Si les données utilisées pour construire un modèle sont légèrement biaisées, un modèle développé avec négligence peut amplifier ces propriétés. L’équité basée sur les groupes nécessite que les modèles de ML traitent différents groupes de la même manière. L’équité peut être un peu plus complexe. Par exemple, si les données provenant de la formation d’un modèle d’IA incluent des disparités démographiques au niveau du groupe, le modèle apprendra ces disparités, ce qui peut entraîner des prédictions trompeuses.

La construction d’un modèle d’IA basé sur des données biaisées peut conduire à des résultats faussés, qui, à leur tour, deviennent la base de décisions automatisées qui peuvent générer des conclusions encore plus préjudiciables.

L’utilisation de l’IA et du ML dans le secteur public peut offrir d’énormes avantages. Dans le même temps, il existe un réel danger que l’échec du déploiement puisse nuire à la démocratie et au tissu social en favorisant potentiellement la discrimination et l’inégalité de traitement à grande échelle.

À mesure que le déploiement de l’IA et du ML s’intensifie, il sera impératif pour les auditeurs publics de relever les défis posés par cette technologie progressivement invasive.

“Auditing Machine Learning Algorithms: A White Paper for Public Auditors” vise à aider les ISC à en savoir plus sur l’audit des algorithmes d’IA et de ML et à aider les auditeurs à mieux se préparer pour relever les défis.