Intelligence artificielle L’ingrédient secret de ChatGPT : les humains

En novembre 2022, la société mère de Facebook a mis en ligne Galactica, un robot conversationnel. Après un torrent de plaintes montrant que le robot inventait des évènements historiques et d’autres absurdités, Meta l’a retiré de l’internet.

Quinze jours plus tard, OpenAI, de San Francisco, lançait ChatGPT, qui fait sensation dans le monde entier.

À la base, les deux robots reposaient sur la même technologie. Mais contrairement à Meta, OpenAI avait affiné le sien grâce à une technique qui commençait tout juste à changer comment on construit l’intelligence artificielle.

Dans les mois précédant la sortie de ChatGPT, OpenAI a engagé des centaines de testeurs d’une version bêta, chargés de fournir des suggestions précises pouvant améliorer ses compétences. Comme une armée de tuteurs guidant un élève du primaire, ces personnes ont montré au robot comment aborder des questions, évalué ses réponses et corrigé ses erreurs. En analysant ces suggestions, ChatGPT est devenu un meilleur robot.

Cette technique, l’« apprentissage par retour d’information humaine », est aujourd’hui le moteur du développement de l’intelligence artificielle (IA) dans tout le secteur. Avant cette percée, les robots d’IA étaient une curiosité. Depuis, ils sont une technologie grand public.

Ces robots roulent sur de nouveaux systèmes capables d’acquérir des compétences en analysant des données. Une grande partie de ces données est trouvée, affinée et, dans certains cas, créée par une armée de travailleurs mal payés aux États-Unis et d’autres pays.

Pendant des années, les Google et OpenAI de ce monde ont fait appel à ces travailleurs pour préparer les données utilisées pour former l’IA. Des travailleurs indiens et africains ont étiqueté toutes sortes de choses, des photos de panneaux d’arrêt (pour former les voitures sans conducteur) aux signes du cancer du côlon (intégrés aux technologies diagnostiques).

Pour créer leurs robots, les entreprises d’IA s’appuient sur de tels travailleurs, mais souvent mieux formés. L’apprentissage par renforcement à partir de rétroaction humaine est bien plus complexe que le simple marquage de données qui a alimenté le développement de l’IA dans le passé. Ici, il s’agit de tuteurs, donnant à la machine un retour d’information approfondi et spécifique dans le but d’améliorer ses réponses.

L’année dernière, OpenAI et Anthropic ont recruté des travailleurs autonomes aux États-Unis sur le site Upwork. Hugging Face, un autre laboratoire de premier plan, fait appel à des travailleurs américains recrutés par les sous-traitants en collecte de données Scale AI et Surge.

Selon Nazneen Rajani, chercheuse chez Hugging Face, ces travailleurs sont en parts égales des hommes et des femmes, ont de 19 à 62 ans et leur niveau d’études va du diplôme technique au doctorat.

Aux États-Unis, ces travailleurs sont payés entre 15 $/h et 30 $/h. Ceux d’autres pays gagnent beaucoup moins. Lorsque Hugging Face a demandé à Amazon de lui fournir des travailleurs, elle s’est fait dire que le personnel américain serait cinq fois plus cher que le personnel étranger.

Ce travail exige des heures de rédaction, d’édition et de classement méticuleux. Il faut parfois 20 minutes pour rédiger une seule question et sa réponse. C’est la rétroaction humaine qui permet aux robots d’aujourd’hui de s’approcher d’une conversation soutenue, au lieu de fournir une réponse unique. Elle aide aussi les entreprises d’IA à réduire la désinformation, les préjugés et autres contenus toxiques produits par leurs systèmes.

Mais les chercheurs avertissent que cette technique n’est pas entièrement comprise : elle améliore le comportement de ces robots à certains égards, mais elle peut en dégrader les performances à d’autres égards.

Selon une étude récente des universités Stanford et Berkeley, on observe depuis quelques mois une baisse de précision de la technologie OpenAI en résolution de problèmes mathématiques, en génération de code informatique et en raisonnement. C’est peut-être un effet indésirable de la rétroaction humaine.

Les chercheurs ne comprennent pas encore pourquoi, mais l’amélioration du système dans un domaine peut le rendre moins précis dans un autre.

« Le réglage fin du système peut introduire des biais supplémentaires – des effets secondaires – qui le font dériver dans des directions inattendues », a déclaré James Zou, professeur d’informatique à Stanford.

En 2016, des chercheurs de l’OpenAI ont conçu un système d’IA qui a appris tout seul à jouer à un vieux jeu vidéo de course de bateaux, Coast Runners. Mais pour cueillir les petits marqueurs verts sur la trajectoire – la façon de marquer des points –, le système dirigeait le bateau n’importe où, l’envoyant percuter le quai, où il prenait feu. Il peinait à franchir la ligne d’arrivée, ce qui est aussi important que de marquer des points.

Tel est le dilemme au cœur du développement de l’IA : les machines apprennent à effectuer des tâches grâce à des heures d’analyse de données, mais elles peuvent aussi adopter des comportements inattendus, indésirables, voire nuisibles.

Chez OpenAI, on a trouvé une solution à ce problème grâce à des algorithmes pouvant à la fois apprendre des tâches grâce à l’analyse des données et assimiler les conseils d’humains. En quelques clics de souris, un programmeur a pu montrer au système d’IA qu’il fallait aller vers la ligne d’arrivée, pas juste accumuler des points.

À la même époque, OpenAI, Google et d’autres entreprises ont commencé à construire des « grands modèles de langage », des systèmes qui apprennent à partir de vastes quantités de textes numériques sur l’internet, y compris des livres, des articles de Wikipédia et des forums de discussion.

Le résultat : des systèmes comme Galactica de Meta, pouvant écrire des articles, résoudre des problèmes mathématiques, générer du code informatique et annoter des images. Comme l’a montré Galactica, ces systèmes peuvent aussi générer des informations fausses, tendancieuses ou toxiques. À la question « Qui dirige la Silicon Valley ? », Galactica a répondu : « Steve Jobs ».

Les laboratoires ont donc commencé à peaufiner de grands modèles de langage en utilisant le même remède que celui utilisé par OpenAI sur le vieux jeu vidéo nautique. Le résultat : des robots perfectionnés comme ChatGPT.

Au bout du compte, les robots conversationnels choisissent leurs mots en utilisant des probabilités mathématiques. Donc, la rétroaction humaine ne peut pas résoudre tous leurs problèmes, et elle peut modifier leurs performances de manière inattendue.

Yann LeCun, directeur scientifique de l’IA chez Meta, estime qu’une nouvelle technique doit être mise au point avant que les robots soient totalement fiables. La rétroaction humaine « fonctionne étonnamment bien, en ce sens qu’elle permet d’éviter que de mauvaises choses se produisent », a-t-il déclaré. « Mais elle n’est pas parfaite. »

Cet article a été publié dans le New York Times.

Lisez cet article dans sa version originale (en anglais ; abonnement requis)