Si le robot conversationnel ChatGPT arrive à bluffer les humains, il est démasqué par un outil informatique relativement simple conçu par la firme montréalaise Draft & Goal.
En ligne depuis le début de la semaine, le ChatGPT Detector analyse tout texte d’au moins 400 caractères et tranche en moins de cinq secondes. Dans la dizaine d’essais de La Presse, il a repéré à tout coup les textes générés par ChatGPT avec une certitude de 100 %, considérant les cinq vrais articles comme écrits par un humain. Pour ajouter une couche de difficulté, les articles ont été traduits automatiquement en anglais par un autre outil d’intelligence artificielle, Google Translate. Le détecteur ne fonctionne qu’en anglais pour l’instant.
Essayez le ChatGPT DetectorDécouverte profitable
Derrière cet outil, on retrouve un administrateur formé en génie, Nabil Tayeb, et son cofondateur Vincent Terrasi, diplômé en ingénierie en conduite de projets et génie logiciel de l’École supérieure de génie informatique en France. Les deux hommes, installés à Montréal et en France, ont commencé à s’intéresser aux intelligences artificielles générant du texte fin 2019, d’abord dans le but d’offrir des outils de marketing d’analyse et d’écriture de blogues ou de pages web.
PHOTO FOURNIE PAR DRAFT & GOAL
Nabil Tayeb, PDG et cofondateur de Draft & Goal
« On avait fait un petit module qui pouvait dire si un texte généré automatiquement et retouché par un humain était encore perçu comme de l’IA, explique au bout du fil Nabil Tayeb, PDG. Au bout d’un moment, on s’est rendu compte qu’on était super bons pour détecter l’IA. »
Mis de côté, ce « petit module » a repris vie avec le lancement public de ChatGPT fin novembre. La vraisemblance inédite des réponses du robot conversationnel a fasciné des millions d’utilisateurs, mais a suscité les craintes qu’il puisse être utilisé pour plagier ou pour désinformer.
« On s’est dit qu’on pourrait faire de notre détecteur d’IA un produit, on a préparé ça pendant les vacances de Noël, raconte M. Tayeb. On a sorti cette semaine une version bêta [préliminaire] pour laisser les gens l’utiliser et se faire une opinion. »
Selon les premiers essais, le ChatGPT Detector a un taux d’efficacité de 93 %. Une deuxième version qui sera lancée la semaine prochaine devrait atteindre les 96 %, et le détecteur acceptera le français d’ici deux semaines.
On a commencé en anglais parce que c’était le chemin de moindre résistance, parce qu’il y a beaucoup plus de contenu en anglais sur l’internet et que les outils sont principalement dans cette langue.
Nabil Tayeb, PDG et cofondateur de Draft & Goal
Même s’il a obtenu une note parfaite lors des tests de La Presse, l’outil Draft & Goal a encore des faiblesses, précise le PDG. « Il y a encore des types de textes qui sont des cas marginaux et qui sont plus difficiles à détecter. Et certains textes avec beaucoup de phrases courtes peuvent poser problème, mais on pense avoir trouvé la solution. »
Les failles de ChatGPT
Mais comment un outil aussi simple, conçu sans apprentissage profond par deux personnes avec l’appui de deux développeurs et de quelques conseillers, peut-il mettre en échec un robot conversationnel comme ChatGPT qui a bénéficié de centaines de millions de dollars d’investissements et du travail de dizaines d’experts depuis 2015 ?
C’est que malgré ses performances impressionnantes, un robot conversationnel comme ChatGPT garde des travers. « Dans de nombreux cas, quand il y a consensus ou que les questions ne demandent pas un haut niveau d’interprétation, on va avoir des réponses correctes, explique M. Tayeb. Mais sur certains thèmes, l’IA va se tromper ou va carrément inventer des sources. »
Sans dévoiler sa recette, le PDG précise que son détecteur analyse cinq signaux, pondérés différemment, pour retracer l’intervention de l’IA.
Il lève son chapeau à son cofondateur, Vincent Terrasi. « Il est vraiment très, très bon, ça fait longtemps qu’il travaille sur l’IA. Est-ce que c’est facile ? Comme tout, c’est facile une fois que tu sais le faire. Il y a peut-être une dizaine de projets déjà sur le marché qui détectent l’IA, et on peut se douter qu’il y en a beaucoup d’autres dans les laboratoires de recherche. »
S’il traque ses faiblesses, M. Tayeb estime toutefois que ChatGPT constitue réellement un « point d’inflexion » impressionnant, « le début de l’ère de l’IA grand public ». D’où la nécessité d’un détecteur qui empêche son utilisation trompeuse ou à des fins non éthiques. « Il va y avoir des changements. Est-ce que ça va être pour le mieux, ou être dystopique ? L’histoire nous le dira. »
Rectificatif
Dans une version précédente, nous écrivions que les deux cofondateurs de Draft & Goal étaient installés à Montréal. Vincent Terrasi vit toujours en France. Nos excuses.