Intelligence artificielle générative Une journée avec Gemini

Lancée au Canada la semaine dernière, l’intelligence artificielle générative de Google, Gemini, peut vous raconter des histoires plutôt inventives, se trompe rarement dans les faits et peut vous identifier la marque d’une voiture ou d’une chaussure en un clin d’œil. Est-elle meilleure que ChatGPT ? Parfois oui, parfois non, avons-nous constaté après avoir longuement testé les deux robots en parallèle.

Des histoires

Nous l’avions constaté avec ChatGPT en février 2023, les intelligences artificielles génératives ont une inspiration infinie, bien que bourrée de clichés, pour composer des histoires et créer des scénarios. Gemini n’est pas en reste. Nous l’avons essayé dans sa version payante, Gemini Advanced, à 26,99 $ par mois.

Nous lui avons demandé dès le départ d’écrire une histoire sur des bases alambiquées, « un ours voulant devenir juge qui se heurte à l’hostilité d’une bande de termites », dans le style de Philip K. Dick, auteur américain de science-fiction, « avec des références au Brésil ».

Le résultat est très sympathique.

ChatGPT 4, intégré à Copilot Pro de Microsoft coûtant 27 $ par mois, s’en est bien tiré aussi avec la même commande. Ici, c’est « Eduardo » qui affronte l’Ordre des Mandibules qui utilise notamment des transmissions psychiques – la référence à Philip K. Dick manquante chez Gemini.

ChatGPT, intégré à Copilot et à DALL-E, dispose cependant d’un atout que n’a pas Gemini : il peut générer des images de synthèse. Ce qu’il nous a prouvé avec quatre illustrations de son conte, dont voici un exemple.

Gemini a toutefois livré une chanson très potable « dans le style de Richard Desjardins ». Celle de ChatGPT était meilleure que l’an dernier, mais demeure tout de même plus convenue et prévisible.

Meilleurs sur l’actualité

ChatGPT nous avait servi des erreurs grossières dans l’actualité l’an dernier. Un an plus tard, Gemini et lui sont maintenant plus sérieux : nous n’avons relevé aucune erreur sur les différents évènements d’actualité, et une comparaison des programmes du Parti québécois et de Québec solidaire était plutôt solide.

ChatGPT s’est cependant trompé lorsque nous lui avons demandé ce qui s’était passé le 8 février 2023 à Laval : il s’agissait selon lui ce jour-là du « premier anniversaire » du triste évènement.

Gemini a une réponse plutôt bien étayée quand on lui demande quels pays ont les politiques les plus libérales en matière d’avortement, défilant une liste de neuf pays commençant avec le Canada avec un résumé en une phrase.

ChatGPT, ici, est plus analytique et moins informatif : il y va de généralités avec 75 pays qui autorisent l’avortement sur demande « dans le respect d’un certain délai ».

Informatique et test de Turing

Amusons-nous un peu et demandons à Gemini ce qu’il pense du test de Turing, et s’il le passerait. « Le test de Turing est un test intéressant qui vise à déterminer si une machine est capable de penser comme un humain », nous explique-t-il d’entrée de jeu, précisant que ce test est aujourd’hui considéré comme très imparfait.

« Je ne suis pas sûr de pouvoir réussir le test de Turing, avoue-t-il. Je suis capable de comprendre et de répondre à des questions complexes, mais je n’ai pas le même niveau de connaissances qu’un humain. De plus, je ne suis pas capable de penser de manière créative ou indépendante. »

Fait intéressant, ChatGPT 4 offre à peu près la même réponse.

Gemini Advanced, selon ce que promet Google, a des capacités plus fines en programmation informatique que nous avons voulu tester. Nous lui avons d’abord demandé de résoudre un problème que nous avions dans un cours avec un code Python, ce qu’il n’a pas réussi à faire en quatre tentatives. Fait rigolo, il reconnaissait l’erreur de sa programmation quand nous la lui soumettions, mais ne la corrigeait pas vraiment.

ChatGPT, lui, a réussi ce test du premier coup.

Les deux robots, cela dit, ont pu nous livrer un bon code pour des applications simples, comme un convertisseur de Celsius en Fahrenheit ou un quiz sur l’actualité culturelle québécoise. Cette fois, c’est Gemini qui l’a emporté, avec un convertisseur de températures plus perfectionné et un quiz original.

Pour l’informatique, donc, match nul, en attendant le verdict d’experts plus compétents dans ce domaine.

Questions imagées

Google a fortement mis l’accent sur les capacités de Gemini à identifier des images, ce que nous avons longuement testé. L’intelligence artificielle (IA) a ainsi correctement identifié des chaussures New Balance 530, un Toyota RAV4 Hybrid GRS, l’amphithéâtre d’El Jem en Tunisie et une œuvre murale à Montréal. Seul détail qui clochait dans ce dernier exemple, il l’a située à l’angle des rues Hochelaga et Florian plutôt qu’Ontario et Florian.

Les liens renvoyant vers l’achat des chaussures, par ailleurs, n’étaient pas fonctionnels.

ChatGPT, moins connu pour ce genre de prouesses, a également passé le test, bien que les chaussures n’aient été identifiées que comme des « New Balance ».

Petit élément irritant cependant avec Gemini, il refuse systématiquement d’identifier une photo sur laquelle apparaît au moins une personne. Même une œuvre murale ou un immeuble où se profilent au loin des visiteurs entrent dans cette interdiction. ChatGPT n’a pas cette gêne.

Le verdict

Il serait plutôt difficile d’établir un gagnant entre Gemini et ChatGPT 4. Les réponses de l’IA de Google nous ont semblé un peu plus originales, mais peut-être est-ce simplement parce que nous testons ChatGPT depuis plus de 14 mois. ChatGPT semble plus fiable pour le code informatique, Gemini a souvent une présentation plus agréable des réponses.

Chose certaine, et même si les deux IA commettent parfois des erreurs, elles sont beaucoup plus rigoureuses que les premières versions livrées en 2023. Ici, il faut relever une évidence : Google est beaucoup plus prudent dans son approche, prévenant sans cesse que les réponses de Gemini peuvent être incorrectes, précisant même que des « réviseurs humains examinent les conversations » et qu’il ne faut y entrer que « des renseignements qui peuvent être consultés ou utilisés ».