Les institutions gouvernementales mènent régulièrement des consultations en ligne pour sonder la population. Mais comment savoir si ces commentaires ont été rédigés par des citoyens ou par des robots ? Max Weiss, étudiant de l’Université Harvard aux États-Unis, a montré qu’il était assez simple de tromper ce système… et d’influencer du même coup le débat démocratique.
L’étincelle : un précédent inquiétant
En 1997, aux États-Unis, la Federal Communications Commission (FCC) a tenu une consultation en ligne pour recueillir l’avis des citoyens sur une nouvelle réglementation. Quelque 22 millions de commentaires ont été soumis lors de l’exercice, un succès inégalé pour une telle démarche. Mais bien vite, des analystes ont remarqué que bon nombre de ces commentaires avaient été soumis sous un nom inventé, ou sous une identité volée, ou encore en utilisant un programme de génération automatique de commentaires. Une étude a ainsi estimé le nombre de « vrais » commentaires à seulement 800 000, soit 4 % du volume reçu. Étudiant à l’Université Harvard, Max Weiss s’est donc demandé si les autorités gouvernementales avaient raffiné leurs processus. Il s’est intéressé à une consultation menée en octobre dernier en Idaho, où les citoyens se prononçaient sur une réforme pour l’accès aux prestations du programme fédéral d’assurance maladie publique Medicaid.
PHOTO FOURNIE PAR MAX WEISS
Max Weiss
L’outil : un portable et un logiciel
On pourrait imaginer Max Weiss entouré d’une équipe de pirates informatiques dans un labo plein de puissants ordinateurs… Pas du tout. « J’ai utilisé un ordinateur assez ordinaire, un portable HP, que j’ai laissé fonctionner dans ma chambre pendant quatre jours », nous a-t-il expliqué au cours d’une entrevue téléphonique. « Je ne suis vraiment pas un expert en programmation ou en technologie. Et je pense vraiment que n’importe qui pourrait le faire, pour peu qu’il y mette le temps pour maîtriser les habiletés requises. » Il a utilisé un système d’intelligence artificielle spécialisé dans la génération de textes automatisés, appelé GPT-2, offert en libre accès sur le web. Il a téléchargé des commentaires soumis lors de consultations publiques semblables à celle en Idaho pour entraîner le système à inventer des commentaires qui auraient l’air authentiques.
L’exécution : 1000 commentaires en quatre jours
En quatre jours, le « bot » (contraction de « robot » – programme informatique qui interagit avec un serveur informatique comme le ferait un humain) de Max Weiss a généré 1001 commentaires, soit 55 % des commentaires qui avaient été soumis sur le site de la consultation en Idaho. « J’ai été surpris par la facilité à soumettre des commentaires. Je m’attendais à rencontrer plus d’obstacles », raconte l’étudiant. « Après avoir soumis 897 commentaires, mes requêtes pour accéder au site web de la consultation ont commencé à être bloquées – mais il était encore facile de contourner ce blocage en utilisant, par exemple, un serveur mandataire [proxy] qui permettait de soumettre des commentaires avec différentes adresses IP. C’était beaucoup plus facile que je le pensais. »
L’analyse : des humains bluffés
La soumission des faux commentaires a été stoppée après quatre jours. Les responsables de la consultation en Idaho ont été avisés de l’expérience et ont pu retirer les fausses publications grâce à la liste fournie par l’étudiant. Mais Max Weiss, qui a publié les résultats de son expérience dans la revue Technology Science, n’a pas seulement réussi à submerger le site avec ses commentaires fabriqués, il a aussi prouvé que les humains étaient facilement trompés par la machine. Une centaine de participants pourtant formés à reconnaître le vrai du faux n’ont été capables de repérer les faux commentaires que la moitié du temps – on aurait obtenu à peu près le même résultat en tirant à pile ou face pour évaluer chacun des commentaires.
Le remède : plus de tests de vérification
Le moyen le plus simple et rapide à implanter pour limiter l’intervention de robots dans ce genre de consultation est d’utiliser des tests de vérification de l’identité (tests captcha) comme ceux qui demandent à l’utilisateur de reconnaître des éléments précis sur une photographie. « Ces tests ne sont pas à toute épreuve, il existe des façons de les contourner, avertit Max Weiss. Mais ça hausse de façon considérable la barrière pour empêcher les bots d’y entrer. À long terme, d’autres solutions doivent être implantées, comme des détecteurs d’anomalies, la vérification à deux facteurs… Ça pourrait aider. »
Le constat : une démocratie vulnérable
Avec son expérience, Max Weiss a montré une nouvelle fois les possibilités épatantes et inquiétantes de l’intelligence artificielle pour générer de l’hypertrucage (deep fake en anglais), avec des moyens relativement simples. Max Weiss dit avoir conclu son expérience avec un sentiment d’inquiétude. « Si un bot soumet un gros volume de faux commentaires, alors des acteurs disposant d’outils technologiques peuvent influencer le cours d’une consultation publique », souligne-t-il. « Il n’y a pas vraiment de façon, en ce moment, de savoir si un humain ou un bot est derrière l’écran quand on lit un texte publié en ligne. Pas seulement lors de ces consultations publiques, mais aussi en ce qui concerne les autres institutions démocratiques, y compris l’inscription des électeurs ou les recensements en ligne. »