Objectifs
- Comprendre les exigences de conformité et les bonnes pratiques d’audit des systèmes algorithmiques.
- Structurer une mission d’audit : analyse de risques, programme de travail, tests, collecte de preuves, constats.
- Vulgariser les principes de l’intelligence artificielle auprès des parties prenantes non techniques.
Animateur(s)
Teddy RAMA
- Conformité.
- Risk Management et règlementation Bâloise.
- Techniques d’audit et de contrôle interne bancaires.
- Techniques d'audit, Contrôle interne - Assurance.
- Nouvelles technologies, enjeu de données, risque cyber et résilience numérique.
- Gestion d’actifs.
Programme
1VULGARISATION & CADRES REGLEMENTAIRES
Slide introductif : IA explicable en 3 minutes (définitions, modèles, enjeux)
EU AI Act : niveaux de risque, périmètre, obligations et sanctions
Référentiels d’audit IA :
- OWASP Top 10 for LLM
- CSA AI Control Matrix
- NIST AI RMF
Présentation générale de la norme ISO42001 et de l’IA ACT
- Article ISO/IEC 42001 6.1.2 : Identification des risques spécifiques à l’IA
Article AI Act 6 et 10 : Identification des risques en fonction de la classification (exemple : systèmes à haut risque)
2PROGRAMME DE TRAVAIL & QUESTIONNAIRE DE CONTROLE INTERNE
Définition du Programme de Travail
- Article ISO/IEC 42001 7.1 : Planification des audits
- Article 15 du AI Act : Élaboration du programme de travail en conformité avec les exigences de transparence et de documentation
- Construction d’un questionnaire de contrôle interne (gouvernance, cycle de vie, sécurité, documentation)
- Alignement avec :
- ISO/IEC 42001
- OCDE AI Principles
- OWASP AI
- CSA CCM
Structuration recommandée : 4 piliers d’audit IA
- Conformité : Oxford CapAI, CNIL, OCDE
- Biais / Fairness : AIF360, Fairlearn, What-If, Truera
- Explicabilité / Robustesse : SHAP, LIME, Watsonx, Fiddler
Gouvernance stratégique : GARP RAI, ISACA (stratégie IA), IIA Audit AI Framework
3EXERCICES PAR TYPOLOGIE DE RISQUE
Template Confusion Matrix d’un modèle de scoring crédit
Identifier les erreurs critiques : False Positives (prêts accordés à tort) et False Negatives (bons clients rejetés)
Relier les métriques (accuracy, recall, precision, F1-score) aux impacts métiers
Outils utilisés :
- What-If Tool (Google) – simulation visuelle de l’impact des variables sensibles
- IBEX – outil français testé par la CNIL (interface simple pour métiers)
Identifier les variables sensibles : genre, origine, âge
Introduire les indicateurs d’équité (disparate impact, fairness score)
Outils utilisés :
- SHAP et LIME (captures d’écran de résultats d’interprétabilité)
- Algocate (outil français – visualisation des profils décisionnels)
Comprendre la différence entre une décision opaque et une décision traçable
Identifier les risques liés au manque d’explicabilité (juridiques, réputationnels, clients)
Outils utilisés :
- Watsonx.governance (screenshot d’un tableau de bord de dérive modèle)
- Alibi Detect (exemples de courbes de drift – open source)
Objectif pédagogique :
- Identifier les signes de dérive (data drift / concept drift)
- Relier la robustesse au cycle de vie du modèle (MLOps, recalibrage)
4COLLECTE DE PREUVES & FORMULATION DES CONSTATS
Types de preuves à collecter (entretiens, documentation, logs, résultats techniques).
Article ISO/IEC 42001 9.1 : Collecte et conservation des preuves d’audit.
Article 13 du AI Act : Documentation des preuves de conformité et des résultats de l’audit.
5SYNTHÈSE ET CONCLUSION
Synthèse de la journée.
Évaluation de la formation.
Public et pré-requis
Participants
- Contrôleur interne / Contrôle permanent.
- Audit interne / Inspection générale.
- Expert spécialiste du risque.
- Expert conformité.
Supports et moyens pédagogiques
- Documentation en power point.
- Alternance d’illustrations et d’exercices pratiques.
- QCU, Vrai/Faux, questions/réponses pour vérifier, réviser et confirmer les acquis.
- Synthèses.
Connaissances requises
Connaissance du métier de l’audit ou du contrôle permanent.
