Gouvernance des algorithmes d’intelligence artificielle dans le secteur financier

Évaluation

Notre analyse conduit à identifier, dans l’évaluation des algorithmes et des outils d’IA en finance, quatre critères interdépendants :

1. Le traitement adéquat des données est un principe essentiel de tout algorithme. Il conditionne non seulement sa performance mais en assure également la conformité réglementaire et doit prendre en compte les considérations éthiques (telles que l’équité dans les traitements ou l’absence de biais discriminatoire).

2. La performance d’un algorithme de ML est une notion couverte par un ensemble de métriques suffisant pour évaluer l’efficacité d’un algorithme en finance selon les critères techniques ou fonctionnels souhaités. Il est parfois nécessaire de faire un arbitrage entre ces critères de performance et l’exigence d’explicabilité souhaitée.

3. La stabilité décrit la robustesse et la résilience du comportement d’un algorithme de ML au cours de son cycle de vie. Il convient notamment de garantir le caractère généralisable de l’algorithme lors de sa mise en œuvre et de détecter en permanence les risques de dérive des modèles déployés en production.

4. L’explicabilité, liée aux concepts de transparence ou d’interprétabilité algorithmique, est une notion qu’il convient de replacer chaque fois dans un contexte particulier pour en préciser la finalité. Une « explication » du résultat ou du fonctionnement d’un algorithme peut s’avérer nécessaire pour les utilisateurs finaux (clients ou utilisateurs internes) ; dans d’autres cas, elle sera destinée aux responsables de la conformité et de la gouvernance de ces algorithmes. L’explication fournie peut ainsi viser à éclairer le client, à garantir la cohérence des processus dans lesquels des humains prennent des décisions, ou encore à faciliter la validation et la surveillance des modèles de ML. Nous proposons quatre niveaux d’explication (observation, justification, approximation, réplication) afin de clarifier les attendus en matière d’explicabilité de l’IA en finance en fonction de l’audience visée et du risque associé au processus métier.

Gouvernance

L’inclusion d’IA dans les processus métiers en finance influe nécessairement sur leur gouvernance. Aussi nous recommandons de porter l’attention, dès la phase de conception des algorithmes, sur les aspects suivants.

Intégration dans les processus métiers. Il convient en particulier de déterminer si le composant d’IA remplace une fonction ayant un caractère critique (en raison de son rôle opérationnel ou du risque de conformité associé), et si son industrialisation est techniquement satisfaisante, selon une méthodologie appropriée au cycle de vie du ML (de sa conception à son monitoring en production).

Interactions entre humain et algorithme. Elles peuvent nécessiter une forme d’explicabilité particulière, soit à destination des utilisateurs internes en charge de confirmer les décisions de l’algorithme, soit pour les clients qui doivent pouvoir être éclairés sur les décisions qui les concernent ou les propositions qui leur sont faites. En outre, l’intervention humaine parfois prévue dans les processus pour mettre en œuvre ou corriger les résultats des algorithmes, bien que souvent nécessaire et bénéfique, est source potentielle de nouveaux risques : ainsi, des biais peuvent être introduits dans une explication des résultats fournis par la machine, ou encore un humain peut avoir un sentiment de responsabilité plus fort lorsqu’il contredit l’algorithme que lorsqu’il le suit dans ses décisions.

Sécurité et externalisation. Les modèles de ML sont exposés à de nouveaux types d’attaques. Par ailleurs, les risques associés à l’externalisation des modèles, de l’hébergement ou des compétences techniques doivent également être évalués, de même plus généralement que les risques de tiers.

Processus de validation initiale. Les fonctions de validation initiale doivent souvent être repensées lors de la conception d’un algorithme basé sur l’IA et destiné à compléter ou modifier un processus existant. Par exemple, selon les cas, le schéma de gouvernance applicable à la ligne métier peut être conservé ou amendé pour la mise en production d’un outil d’IA.

Processus de validation continue. Une fois un algorithme de ML déployé en production, sa gouvernance présente aussi des enjeux nouveaux. Par exemple, son contrôle permanent nécessite une expertise technique en IA et un outillage dédié au monitoring de cette technologie, afin de garantir le respect continu des principes d’évaluation exposés plus haut : traitement adéquat des données, performance prédictive, absence d’instabilité, et validité des explications des décisions du système.

Audit. Quant aux missions d’audit – interne ou externe – de systèmes basés sur l’IA en finance, qui constituent une part essentielle de leur gouvernance, les travaux exploratoires menés par l’ACPR suggèrent l’adoption d’une approche duale.

• Le premier volet, analytique, allie analyse du code logiciel et des données utilisées, et méthodologie de documentation (si possible standardisée) des algorithmes, des modèles prédictifs et des jeux de données.

• Le second volet, empirique, repose sur l’utilisation de méthodes explicatives adaptées à l’IA (qui permettent de justifier une décision individuelle ou le comportement général de l’algorithme) et fait appel d’autre part à deux techniques permettant d’éprouver un algorithme en « boîte noire » : l’emploi de données d’évaluation dites de benchmarking, et la mise en concurrence du modèle étudié par un modèle dit « challenger » conçu par l’auditeur.

Si une telle approche est utilisable tant par un auditeur interne que par l’autorité de supervision, celle-ci fait face à des défis particuliers, en raison de l’étendue du périmètre de sa mission. Elle pourra les relever en acquérant une expertise théorique et pratique en science des données, et en se dotant d’un outillage approprié aux missions de supervision de l’IA.

Conclusion

L’analyse exposée dans le présent document de réflexion est soumise à consultation publique. Le but est de recueillir l’avis des acteurs financiers et autres parties concernées par le sujet (chercheurs, prestataires, autorités de contrôle, etc.) sur les pistes de recommandations esquissées mais aussi, plus largement, tout commentaire utile, y compris sur l’adaptation des bonnes pratiques du superviseur.