Boîte noire· Black box

Qualificatif d'un modèle dont le raisonnement interne n'est pas directement interprétable par un humain.

ExempleUn réseau profond approuve ou refuse un crédit en 2 secondes, mais aucun ingénieur ne peut expliquer précisément pourquoi le dossier 47382 a été refusé : problème juridique majeur sous le RGPD.

En clairL'expression désigne moins un secret gardé qu'une impossibilité pratique. Même l'équipe qui a construit le modèle ne peut pas remonter à la raison d'une réponse précise. Cela ne rend pas ces systèmes inutilisables, mais cela déplace la question : à défaut d'expliquer chaque décision, il faut pouvoir mesurer les erreurs sur un ensemble de cas.