Objectifs
- Sensibiliser les fonctions audit et inspection à l’audit de l’IA.
- Comprendre pourquoi l’audit de l’IA devient incontournable et où il s’insère dans les missions existantes (sécurité financière, LCB-FT, fraude, octroi).
- Repérer les types de risques associés, y compris pour l’IA agentique.
- Savoir par où commencer une démarche d’audit de l’IA et ce que peut contenir un premier plan d’audit.
- Acquérir une grille de lecture des résultats d’un audit de données et de modèle, et situer le binôme auditeur / expert technique.
Programme
1POURQUOI ET QUOI AUDITER ?
Pourquoi l’audit de l’IA arrive vite et fort ; l’IA entre dans des processus déjà audités (sécurité financière, LCB-FT, fraude, octroi) : l’auditeur blanchiment accompagné de l’audit du modèle de détection.
La notion de SIA : on n’audite pas un modèle isolé mais un système dans son cas d’usage (données, modèle(s), règles, outils, orchestration, supervision, décision métier).
Les types de risques que l’auditeur doit connaître : données, modèle, sorties, système et cas d’usage, et spécificités de l’agentique (autonomie, actions et outils, erreurs en cascade, traçabilité).
2PAR OÙ COMMENCER ET QUE METTRE DANS UN PLAN D’AUDIT IA
Cadrer le périmètre : recenser les systèmes d’IA (y compris non déclarés), les qualifier par risque, définir ce qui est auditable.
Les questions de l’auditeur, étape par étape du cycle de vie : cas d’usage, données, validation, supervision humaine, suivi en production.
Le contrôle humain comme objet d’audit : vérifier que la supervision annoncée est réelle et tracée (niveaux d’autonomie, qui valide quoi, art. 14 AI Act).
Éléments d’un premier plan d’audit IA : données d’entraînement, sorties testées contre une base de référence maîtrisée, explicabilité, performance / robustesse, gouvernance et traçabilité des preuves ; mapping des constats vers les articles de l’AI Act.
Cas fil rouge : construire le début d’un plan d’audit sur un modèle de détection de fraude / sécurité financière.
3AUDITER EN PRATIQUE - LA DONNÉE ET LE MODÈLE
Auditer la donnée : représentativité, complétude, proxys de variables sensibles.
Auditer le modèle et ses sorties : disparités entre groupes, refus, hallucinations (pour un LLM), sur une base que l’auditeur peut contrôler et rejouer.
Lire les résultats et prioriser les constats : ce qui est bloquant, ce qui est à surveiller.
Cas pratique : lecture commentée des résultats d’un audit et hiérarchisation des constats.
4PRODUIRE UN DOSSIER OPPOSABLE ET CADRER LE BINÔME
Ce que l’auditeur peut mener seul vs ce qui exige l’expert technique ; comment cadrer et piloter ce binôme.
Constituer le dossier de preuve : versions, décisions, métriques, seuils, de quoi tenir devant un régulateur.
Démonstration : audit de bout en bout d’un modèle et production d’un dossier de preuve (plateforme VSBIAS / Praesia).
Retour d’expérience : déroulé d’un audit interne de systèmes d’IA en assurance et preuves attendues.
5ATELIER PLAN D’AUDIT
Les participants esquissent, sur un cas d’usage, les premières lignes d’un plan d’audit IA : périmètre, questions par étape, points de contrôle humain, preuves à demander.
Mise en commun et échange.
6SYNTHÈSE
Synthèse et conclusion de la journée.
Évaluation de la formation.
Public et pré-requis
Participants
- Fonctions audit interne, inspection et contrôle périodique.
- Auditeurs et inspecteurs intervenant sur la sécurité financière, la LCB-FT, la fraude ou l’octroi.
- Équipes Data / IA en appui des missions d’audit.
Supports et moyens pédagogiques
- Documentation en PowerPoint.
- Alternance d’illustrations et d’exercices pratiques.
- QCU, Vrai/Faux, questions/réponses pour vérifier, réviser et confirmer les acquis.
- Synthèses.
Connaissances requises
- Culture de l’audit attendue ; aucun prérequis technique en IA (mise à niveau assurée par le QCU d’entrée).
