Biais algorithmique

Reproduction ou amplification par un système d'IA de discriminations présentes dans ses données d'entraînement.

ExempleUn algorithme de recrutement entraîné sur des CV historiques d'une entreprise à dominante masculine défavorise systématiquement les CV féminins, reproduisant le biais de sélection passé.

En clairLe système ne devient pas injuste tout seul : il reproduit fidèlement ce que montrent ses exemples. Si les décisions passées défavorisaient un groupe, il apprend à faire pareil, et le fait désormais à grande échelle avec l'apparence de la neutralité mécanique. Retirer la variable sensible du calcul ne suffit pas : d'autres informations la reconstituent indirectement, le quartier ou le parcours scolaire par exemple.