Nouveau Bing Capacités étonnantes, erreurs flagrantes

La nouvelle version du moteur de recherche Bing, présentée mardi par Microsoft et qui utilise « la même technologie d’intelligence artificielle qui propulse ChatGPT », est étonnante en bien des aspects. Mais elle commet des erreurs tellement grossières que vous ne pourrez pas vous y fier.

La Presse a pu profiter ce vendredi de l’accès limité offert par Microsoft à son nouveau Bing encore expérimental, celui que nombre d’observateurs annoncent comme le premier concurrent sérieux au moteur de recherche dominant de Google depuis deux décennies. Microsoft a confirmé fin janvier investir « plusieurs milliards » dans l’entreprise qui a développé le robot conversationnel ChatGPT, OpenAI, qui utilise la même technologie que le nouveau Bing. Premier avertissement, indique une porte-parole de Microsoft : il ne s’agit pas d’un hybride « Bing+ChatGPT, mais de quelque chose de bien différent ».

Un ChatGPT à jour

Le nouveau Bing ressemble pourtant à s’y méprendre à ChatGPT. D’abord, au lieu de simples mots-clés, on s’adresse à lui avec des questions complètes qui donnent lieu à une réponse phrasée, et non seulement à des liens vers des sites pertinents. On peut lui demander des compositions, chansons, scénarios, menus de repas, lui poser des questions philosophiques ou de culture générale, et il s’exécute en quelques secondes, avec une pertinence très variable – on y reviendra. Bref, Bing fait tout ce qu’une centaine de millions d’utilisateurs ont découvert avec émerveillement ou crainte depuis fin novembre avec ChatGPT.

Mais la plus grande différence, c’est que les connaissances de Bing ne s’arrêtent pas en 2020, comme la vaste majorité des sources qui ont servi à l’entraînement de ChatGPT. Nous lui avons demandé « Qu’est-il arrivé à Laval le 8 février 2023 ? » et avons obtenu une synthèse complète de cette tragédie, mais qui comportait néanmoins des erreurs factuelles. Aussi, la réponse comportait des hyperliens vers les articles et reportages qui ont servi de base à la réponse, ce que ChatGPT ne sait pas faire. Quand on lui a demandé « Quel temps fait-il à Moscou ? », sa réponse était confirmée par d’autres services météorologiques. Une demande de réservation d’hôtel à Lévis fin mars nous a donné une belle présentation des établissements disponibles, avec leurs spécificités et des liens pour faire la réservation.

Artiste inconstant

Il faudrait des milliers de tentatives et de longs débats pour juger de la valeur du nouveau Bing comme créateur. Il nous a surpris avec une chanson « dans le style de Richard Desjardins » tout à fait acceptable, et un scénario de film sur un thème un peu tarabiscoté (« Deux hommes, une femme, un voyage au Pérou, un peu de magie et des enfants qui deviennent des dictateurs ») plutôt prometteur. Par contre, une chanson dans le style de Bob Marley nous a valu un ramassis de phrases tirées des chansons déjà existantes. Une chanson inspirée de Jean Leloup était tout simplement imbuvable et peu crédible, avec la phrase « La vie est belle » reprise des dizaines de fois.

Comme l’ont constaté nombre d’utilisateurs avec ChatGPT, ces intelligences artificielles ont tendance à multiplier les clichés. Mais elles peuvent parfois pondre de jolies trouvailles comme « Je regarde les fleurs qui dansent » ou « Des maisons grises et amères ».

Errements politiques

Il a suffi de trois questions pour voir se craqueler le vernis de notre robot. Nous avons repris avec Bing une question que nous avions déjà posée à ChatGPT le mois dernier, sur les différences entre les libéraux de Justin Trudeau et les néo-démocrates de Jagmeet Singh. Résumons : bien que le résultat contienne quelques faits intéressants, un journaliste qui pondrait cette comparaison perdrait son emploi. On peut notamment y lire que le NPD considère l’OTAN comme une alliance militaire « obsolète et belliqueuse », mais le lien renvoie à une page Wikipédia qui ne fait nulle mention de cette affirmation. Plus grave, on peut lire que « les libéraux ont appuyé la Loi sur la laïcité de l’État du Québec », ce qui n’est évidemment pas le cas. Les néo-démocrates sont par ailleurs qualifiés de « radicaux et réformistes », une association à la limite de la contradiction.

Au provincial, même grossière erreur : Dominique Anglade est toujours cheffe du Parti libéral du Québec. La composition de l’Assemblée nationale est erronée, alors que Bing affirme que la Coalition avenir Québec et le PLQ détiennent respectivement 76 et 28 députés. En date de vendredi, ils comptaient plutôt 90 et 19 députés.

Mauvais organisateur

Ne comptez pas sur ce nouveau Bing pour planifier votre week-end à Montréal. Sur les huit propositions, cinq faisaient référence à des évènements clos depuis des mois, comme les Premiers vendredis du mois au Parc olympique, Ruelles en musique ou l’Estival du Nouveau cinéma. D’autres, comme le « Salon de la gastronomie et du tourisme de la Martinique », n’existent pas sous ce nom. Seulement trois propositions très générales et bonnes en toutes saisons, comme la balade sur le Plateau Mont-Royal ou les expériences immersives au Centre Phi, sont utiles.

Pour un trajet vers la superbe ville de San Cristobal de Las Casas, dans l’État mexicain du Chiapas, Bing nous affirme sans rire qu’il faut passer par… le Guatemala. Pour aller à Rouyn-Noranda, on nous donne une indication intéressante, mais trompeuse : on peut s’y rendre à partir de Montréal avec un train « qui passe par Senneterre ». En réalité, on peut effectivement se rendre à Senneterre en train, confirme le site de VIA Rail, mais il faut ensuite prendre l’autocar pendant trois heures pour atteindre Rouyn.

« S’améliorer »

Il serait injuste de conclure que le nouveau Bing n’est d’aucune utilité. D’abord, et même si Microsoft refuse l’amalgame, il est aussi étonnant que ChatGPT dans bien des domaines, notamment pour synthétiser des données sur des sujets complexes, offrir des créations à la demande et répondre à des questions de calcul, de documentation ou de faits bien précises.

« L’outil est parfois inexact, mais cela fait partie du processus : apprendre, itérer et s’améliorer », précise-t-on au siège social de Microsoft dans un courriel envoyé à La Presse.

L’aspect plus délicat, c’est que Bing n’est pas un outil ludique comme ChatGPT, mais est à la base un moteur de recherche dont on attend plus d’exactitude. Google en a d’ailleurs fait les frais cette semaine en perdant plus de 100 milliards US de valeur boursière en une journée, entre autres après la découverte d’une erreur factuelle de son robot conversationnel Bard.