Examen de citoyenneté canadienne ChatGPT facilement diplômé

Et si l’intelligence artificielle avait, sur papier, ce qu’il faut pour obtenir la citoyenneté canadienne ? Selon un exercice mené par La Presse, c’est bel et bien le cas.

Pour réussir l’examen de citoyenneté canadienne, un nouvel arrivant doit obtenir une note minimale de 75 %. Il s’agit de récolter au moins 15 bonnes réponses sur 20 questions, comportant quatre choix chacune.

Afin de travailler avec un échantillon significatif, La Presse a obtenu un document de 50 questions créé sur mesure, de la part d’un site spécialisé. Celui-ci tient une banque de données régulièrement mise à jour qui comporte plusieurs centaines de questions pouvant être posées lors d’un vrai test.

ChatGPT a trouvé la bonne réponse à 41 de ces 50 questions, pour une note plus que satisfaisante de 82 %. Et ce, en l’espace d’une quinzaine de secondes.

Ainsi, l’agent conversationnel a été capable de répondre adéquatement à des questions portant sur l’histoire, les lois, le gouvernement et les symboles de la fédération canadienne.

Parmi ses bonnes réponses, il a notamment été capable d’identifier l’inventeur de la motoneige, l’origine du mot Canada ou l’âge minimal pour voter, en plus d’avoir bien compris le processus de sélection des sénateurs et la raison de la célébrité de la baie de Fundy, par exemple.

En gros, « cet examen sert à évaluer vos connaissances sur le Canada et sur les privilèges et les responsabilités que vous confère la citoyenneté canadienne », peut-on entendre dans une vidéo présentée sur le site officiel du gouvernement. Ce sont les adultes de 18 à 54 ans qui doivent le passer.

Pour les Canadiens qu’on range plutôt dans la catégorie « monsieur, madame Tout-le-Monde » et qui n’ont jamais eu à le passer… une réussite à l’examen de citoyenneté est-elle chose facile ? Il se trouve que non, selon un récent sondage.

Cette semaine, la firme Léger a fait l’exercice auprès de 1512 citoyens canadiens : 23 % d’entre eux seulement ont atteint la note de passage. Leur moyenne cumulative était de 49 %, ce qui est loin du résultat permettant d’obtenir la citoyenneté.

Ça s’explique

Lorsque l’on compare les résultats humains avec ceux de ChatGPT, un gagnant se démarque clairement. L’intelligence artificielle a une longueur d’avance.

Ainsi, les personnes qui passent le test – en ligne – pourraient-elles délaisser le bon vieux manuel d’étude et emprunter la voie facile ? Cet enjeu, déjà présent dans les établissements d’éducation supérieure, s’étend-il maintenant jusqu’aux examens tenus par le gouvernement fédéral ?

« Avant que l’examen puisse commencer, les clients doivent confirmer leur identité au moyen de leurs renseignements personnels, ils doivent prendre une photo d’eux-mêmes et de leurs pièces d’identité personnelle à l’aide d’une caméra web », répond Immigration, Réfugiés et Citoyenneté Canada (IRCC).

« Le système utilisé pour l’examen de citoyenneté peut également détecter si le demandeur a ouvert d’autres fenêtres, onglets, navigateurs ou applications pendant l’examen », ajoute l’IRCC.

Est-ce qu’une intelligence artificielle qui réussit un tel examen est synonyme de la domination imminente des machines sur l’humain ? Absolument pas, vous pouvez respirer.

« ChatGPT n’avait pas à trouver des nuances ou à répondre à des questions compliquées qui testent la compréhension verbale », soutient Laurent Charlin, membre principal de l’Institut québécois d’intelligence artificielle Mila et professeur agrégé à HEC Montréal, en entrevue. « J’ai regardé des exemples de questions, et ce sont des faits relativement basiques. La simplicité aide. »

« L’autre chose qui est importante : il y a des chances qu’il ait déjà eu accès à ces questions en partie ou en totalité grâce à sa base de données », ajoute-t-il.

Fin mai, La Presse rapportait justement que ChatGPT avait lamentablement échoué à l’examen de l’École du Barreau. Face à des questions complexes visant à tester les connaissances des diplômés universitaires en droit, l’outil développé par OpenAI avait obtenu une piètre note de 12 %.

C’est dans la nuance et la complexité que l’agent conversationnel se perd, affirme Laurent Charlin. « C’est un outil qui a des forces, mais qui est imparfait. Il a une capacité de répondre à des questions dans différents domaines, mais parfois dit des choses qui sont complètement fausses. »

« ChatGPT, on n’a pas encore bien évalué toutes ses capacités. Il faut garder un esprit assez critique. Il est capable de faire plein de choses, mais on a besoin de plus d’évaluation et d’exploration pour voir ce qu’il fait peu ou ne fait pas. »