Les biais algorithmiques
Leur manifestation
L’IA sert déjà à déterminer le sort de millions de personnes dans des situations cruciales. Qui embaucher ? À qui accorder un prêt ? Qui risque de récidiver ? Or, malgré sa puissance, elle peut commettre des erreurs grossières. « Les humains nourrissent et entraînent des machines qui reproduisent leurs biais inconscients », explique Émilie Gagnon-St-Pierre, doctorante en psychologie cognitive et sociale à l’Université du Québec à Montréal (UQAM). Les préjugés s’infiltrent dans l’élaboration des algorithmes, puis dans le choix des données – presque toujours incomplètes et teintées par les inégalités du monde réel. Résultat : l’ordinateur a beau être rapide, infatigable et prétendument objectif, il prend, lui aussi, des décisions injustes, basées sur des raccourcis. Les erreurs de la reconnaissance faciale – qui confond les personnes noires entre elles – en témoignent. Au moins six Afro-Américains ont été détenus injustement, parce qu’un logiciel les avait associés à des criminels filmés par des caméras de surveillance. En 2023, à Detroit, une femme enceinte de huit mois a été injustement menottée devant ses deux fillettes terrorisées, puis jetée dans une cellule, où elle a croupi 11 heures et ressenti des contractions et de la panique. Il lui a fallu payer une caution de 100 000 $ pour pouvoir en sortir et se rendre à l’hôpital, déshydratée. L’année précédente, un homme de la même ville a vécu un cauchemar semblable.
Leur raison d’être
Parce qu’ils traitent et recoupent à toute vitesse des quantités phénoménales d’informations, les systèmes d’IA améliorent nos performances dans plusieurs domaines – de l’aviation à la radiologie en passant par la génétique. Ce qui permet, par exemple, d’augmenter la sécurité des transports ou de diagnostiquer plus facilement des maux rares, complexes ou embryonnaires. L’IA pourrait même servir à repérer les biais, suggèrent deux juristes québécoises sur le site du Centre d’accès à l’information juridique. Leur idée : « analyser l’ensemble des jugements rendus par un juge [ou un tribunal] et en dégager des tendances ». Cela permettrait d’identifier ceux « dont les décisions semblent être biaisées par des stéréotypes et des préjugés », pour accroître leur imputabilité, assurer l’égalité devant la loi et augmenter la transparence du processus judiciaire. En 2019, la France a préféré modifier la loi pour fermer cette porte, par crainte que le profilage et la comparaison des juges permettent plutôt aux parties de les influencer en cour.
Leurs répercussions
Des aberrations passées démontrent qu’utiliser l’IA pour contrer les biais peut échouer. Aux États-Unis, le système COMPAS attribuait à tort un risque de récidive deux fois plus élevé à des accusés noirs qu’à des accusés blancs au profil très similaire. Il a donc aggravé la discrimination systémique… qu’il visait originellement à combattre ! Un programme du genre a produit le même résultat déplorable en Espagne. Tandis qu’en Pennsylvanie, un logiciel surestimait la probabilité que des familles noires – pourtant très semblables à des familles blanches – mettent leurs enfants en danger. Autre exemple : « des systèmes d’analyse de CV [dont l’un créé par Amazon] attribuaient automatiquement aux hommes des postes beaucoup plus intéressants, qui donnent plus de pouvoir et de plus gros salaires », illustre Émilie Gagnon-St-Pierre, coéditrice du guide des biais Raccourcis.
Leur antidote
L’Europe a de l’avance, puisque le Parlement européen étudie, depuis l’an dernier, une loi exigeant que les systèmes d’IA soient « sûrs, transparents, traçables, non discriminatoires ». « Utiliser des critères discriminatoires est illégal, mais ignorer comment la machine prend sa décision court-circuite les recours possibles. Ça nécessitera beaucoup de surveillance », observe Mme Gagnon-St-Pierre. Mieux programmer l’IA est donc vital. Pour y parvenir, les spécialistes en données gagneraient à travailler avec des experts en sciences humaines, afin de rééquilibrer l’entraînement des systèmes. Leur inculquer des connaissances en psychologie, sociologie, philosophie et éthique leur enseignerait à extirper les biais. Impliquer plus de femmes et de minorités permettrait par ailleurs de refléter plus de points de vue.
Les machines ne sont pas infaillibles
Une erreur de jugement appelée biais d’automatisation nous fait souvent sous-estimer le risque qu’elles se trompent, puisque nous présumons que les machines ont été programmées spécifiquement pour éviter cela, observe Émile Gagnon-St-Pierre. D’après quelques études, une petite proportion des médecins (10 % ou moins) changent leur diagnostic initial – et correct – lorsqu’un logiciel leur en propose ensuite un mauvais. Au lieu d’être conçus et perçus comme des preneurs de décisions, les systèmes d’IA devraient donc offrir un simple « soutien », conseillent les experts en biais.
À lire demain
« Ces biais qui nous emprisonnent dans la mauvaise voie »