XAI· Explainable AI : IA explicable

Ensemble de méthodes visant à rendre compréhensibles les décisions produites par un modèle.

ExempleLIME explique localement le refus d'un crédit par un modèle opaque : le taux d'endettement contribue à +0,32 au refus, l'ancienneté professionnelle à -0,18 ; interprétation au niveau du dossier individuel.

En clairRendre une décision explicable ne veut pas dire montrer comment le modèle a calculé. Les méthodes courantes produisent une explication plausible après coup, qui peut fort bien ne pas correspondre au chemin réellement suivi. C'est utile pour discuter avec un client ou un régulateur. C'est trompeur si on la prend pour la vérité du fonctionnement.