Lorsque l’appli Google Photos a été lancée en mai 2015, elle a fait sensation : elle pouvait analyser les images et étiqueter les personnes, les lieux et les choses s’y trouvant. À l’époque, c’était stupéfiant. Deux mois plus tard, un concepteur de logiciels, Jacky Alciné, qui est Noir, tout comme une amie, a découvert sur une photo que Google les avait étiquetés comme des « gorilles ».

L’étiquette est particulièrement insultante, d’autant qu’elle peut avoir une connotation raciste. M. Alciné a mis une capture d’écran sur Twitter et critiqué Google. Durant la controverse qui a suivi, Google a bloqué la catégorisation « gorille » de l’appli Photos et promis de régler le bogue. Huit ans plus tard, prenant acte des progrès de l’intelligence artificielle, nous avons vérifié ce qu’il en était et regardé du côté des concurrents : Apple, Amazon et Microsoft.

Il y a un membre de la famille des primates que Google et Apple arrivent à reconnaître : le lémurien, cet animal à la longue queue et à l’air perpétuellement étonné qui, comme l’homme, a des pouces opposables, mais qui est un parent plus lointain que les grands singes.

Les outils de Google et d’Apple étaient à l’évidence les plus avancés en matière d’analyse d’images.

Pourtant, Google, dont le logiciel Android est au cœur de la plupart des téléphones dans le monde, a désactivé la recherche visuelle d’images de primates, de crainte d’étiqueter par erreur une personne comme un animal. Apple, dont la technologie présente des performances comparables à celles de Google, dans notre test, semble aussi avoir bloqué la fonction de recherche des singes et des primates.

Failles impossibles à corriger dans l’IA ?

Les consommateurs n’ont peut-être pas besoin d’identifier un primate si souvent – quoiqu’en 2019, un utilisateur d’iPhone se soit plaint sur le forum d’Apple que le logiciel « ne peut pas identifier les singes dans [ses] photos ». Ce problème soulève toutefois des questions sur d’autres failles non corrigées, ou impossibles à corriger, qui se cachent dans les services utilisant la vision artificielle ainsi que dans d’autres produits alimentés par l’IA.

M. Alciné s’est dit consterné d’apprendre que Google n’avait toujours pas résolu le problème. La société fait trop confiance à la technologie, dit-il. « Je n’aurai jamais confiance en l’IA », a-t-il déclaré.

La vision artificielle sert désormais à des tâches aussi banales que l’envoi d’une alerte lorsqu’un colis a été livré à la porte, et aussi lourdes de conséquences que la navigation automobile et la recherche de suspects par la police.

Dans l’affaire du gorille, deux ex-employés de Google ayant travaillé sur cette technologie ont déclaré que le problème venait du fait que l’entreprise n’avait pas mis assez de photos de Noirs dans l’énorme collection d’images utilisée pour entraîner son système d’intelligence artificielle. La technologie n’avait pas été suffisamment exposée à des personnes à la peau foncée et les a prises pour des gorilles.

Google n’a pas découvert le problème du « gorille » à l’époque parce qu’elle n’avait pas demandé à assez d’employés de tester la fonction avant son lancement public, ont déclaré les deux anciens employés.

L’IA arrive dans nos vies et elle fait craindre des conséquences imprévues. Les produits de vision artificielle et les robots conversationnels comme ChatGPT sont différents, mais tous dépendent des données qui entraînent le logiciel. Tous peuvent mal fonctionner en raison de failles dans les données ou de biais incorporés dans leur code.

Microsoft vient d’imposer des limites au robot conversationnel intégré à son moteur de recherche Bing, après qu’il eut abordé des sujets déplacés avec des utilisateurs.

Désactiver plutôt que corriger

Cette décision de Microsoft, comme celle de Google sur l’identification des gorilles, illustre une approche courante dans l’industrie : bloquer les fonctionnalités technologiques défectueuses au lieu de les corriger.

C’est important de résoudre ces problèmes. Comment peut-on faire confiance à ce logiciel dans d’autres scénarios ?

Vicente Ordóñez, professeur à l’Université Rice de Houston, au Texas, qui étudie la vision artificielle

Si Google a désactivé l’identification des singes et des gorilles de son application Photos, c’est parce que l’avantage était moindre que le risque de préjudice, dit Michael Marconi, de Google.

Apple n’a pas souhaité commenter cet enjeu.

Chez Amazon et Microsoft, on a simplement indiqué qu’on cherchait toujours à améliorer les produits.

Même problème sur Nest, durant les tests

Des années après l’erreur de Google Photos, l’entreprise a eu un problème similaire avec sa caméra de sécurité domestique Nest lors des tests, a dit un ancien employé. La caméra Nest, qui utilise l’IA pour déterminer si une personne se trouvant sur les lieux lui est familière ou non, a confondu des personnes noires avec des animaux. Google a vite corrigé le problème, avant le lancement du produit, a indiqué cet employé.

Mais sur les forums de Google, des clients se plaignent d’autres défauts. En 2021, un client a reçu des alertes indiquant que sa mère sonnait à la porte. Quand il a ouvert la porte, c’était sa belle-mère. Lorsque les utilisateurs se sont plaints que le système confondait les visages qu’ils avaient marqués comme « familiers », le service à la clientèle leur a dit de supprimer toutes leurs étiquettes et de recommencer.

Google a travaillé dans les coulisses pour améliorer cette technologie, mais elle n’a pas permis aux utilisateurs de juger ces efforts.

La chercheuse Margaret Mitchell, cofondatrice du groupe « Ethical AI » de Google, s’est jointe à l’entreprise après l’incident du gorille et a collaboré avec l’équipe Photos. La décision de supprimer « l’étiquette des gorilles, au moins pour un temps », était la bonne, dit-elle.

« Il faut mettre dans la balance l’utilité de pouvoir étiqueter un gorille avec les torts liés à la perpétuation de stéréotypes néfastes », a expliqué Mme Mitchell. « Le tort qu’un dysfonctionnement peut causer pèse plus lourd que les avantages. »

Ces systèmes ne sont jamais infaillibles, souligne Mme Mitchell, qui a quitté Google. Puisque des milliards de personnes utilisent Google, même les pépins qui ne concernent qu’une personne sur un milliard d’utilisateurs feront surface.

« Une seule erreur peut avoir des ramifications sociales massives. C’est l’aiguille empoisonnée dans une botte de foin. »

Cet article a été publié dans The New York Times.

Consultez l’article original (en anglais ; abonnement payant requis)