Des robots au poste-frontière

Votre mariage est-il sincère? Cet enfant est-il vraiment votre enfant? Votre fil Twitter ou Facebook fait-il de vous une personne «suspecte» qui devrait être renvoyée dans son pays?

Avec l'utilisation accrue d'outils d'intelligence artificielle dans les procédures d'immigration, des algorithmes pourraient être amenés à répondre à ces questions et à se substituer au jugement humain pour déterminer qui peut rester ou non au pays.

Génial et révolutionnaire? Peut-être pas, nous avertit un rapport de l'Université de Toronto, rendu public hier, qui s'inquiète des violations des droits de la personne que risque d'entraîner le recours à des outils de décision automatisée en l'absence de garde-fous adéquats.

Je l'ignorais, mais le Canada a commencé à expérimenter le recours à l'intelligence artificielle dans ses procédures d'immigration depuis 2014. On ne parle donc pas de science-fiction.

Et tout semble indiquer que l'on y aura recours de plus en plus. Au printemps dernier, selon le rapport, Ottawa s'est renseigné discrètement auprès d'entreprises privées pour mener un projet-pilote d'intelligence artificielle en droit de l'immigration, visant notamment à évaluer les demandes humanitaires et les évaluations des risques avant renvoi - ce que dément le ministère de l'Immigration.

Ce recours à des algorithmes appelés à remplacer ou à influencer le jugement humain pourrait avoir des conséquences désastreuses dans la vie de gens déjà vulnérables, avertissent les auteurs du rapport intitulé Bots at the Gate (Des robots au poste-frontière), publié par l'International Human Rights Program de l'Université de Toronto et le Citizen Lab de la Munk School of Global Affairs and Public Policy.

«Il y a cette idée selon laquelle l'intelligence artificielle est neutre et objective. Mais nous savons que ce n'est pas le cas», me dit l'avocate Petra Molnar, coauteure du rapport et chercheuse associée à l'Université de Toronto. Le fait est que les algorithmes reproduisent de façon insidieuse les préjugés de ceux qui les conçoivent.

L'étude s'est intéressée par exemple à un algorithme utilisé par des tribunaux américains pour évaluer les risques de récidive d'un accusé au moment de déterminer s'il peut être libéré avant son procès. Cela a mené à des décisions discriminatoires faisant en sorte que les personnes issues de communautés racisées et vulnérables étaient plus susceptibles de se retrouver en prison que les accusés blancs.

Autre exemple des travers des algorithmes que l'on croit «neutres» : une étude a déjà montré qu'une simple recherche Google menée par une personne à la recherche d'un emploi conduira à des publicités différentes selon que l'on soit un homme ou une femme. Moins de femmes que d'hommes verront défiler des annonces d'emplois bien payés.

En matière d'immigration, les chercheurs se sont aussi intéressés à des expériences malheureuses d'utilisation de l'intelligence artificielle à l'étranger. En mai 2018, le Royaume-Uni a renvoyé par erreur 7000 étudiants étrangers après les avoir accusés à tort d'avoir triché dans leur examen d'anglais. On s'est fié à un logiciel de reconnaissance de la voix pour déterminer si les étudiants avaient fait eux-mêmes leur examen ou avaient triché en envoyant quelqu'un à leur place. Le hic, c'est que le logiciel s'est trompé dans plus de 20% des cas. «Le gouvernement ne s'en est rendu compte qu'après avoir renvoyé les étudiants!» souligne Petra Molnar.

Pour un demandeur d'asile dont la vie est menacée dans son pays, une erreur dans l'application de la loi peut être particulièrement tragique. Il s'agit là, souvent, de questions de vie ou de mort.

Les chercheurs craignent que les nuances et la nature complexe de bien des demandes d'asile se perdent dans la lecture qu'en feront des algorithmes au pouvoir démesuré.

Le rapport soulève aussi des questions quant à la collecte et au partage de données touchant des demandeurs d'asile. On cite l'exemple des questionnaires discriminatoires auxquels la Gendarmerie royale du Canada (GRC) a soumis les migrants du chemin Roxham en 2017. Comment vous sentiriez-vous si votre patron était une femme? Que pensez-vous des femmes qui ne portent pas le hijab? Combien de fois priez-vous par jour? C'est le genre de questions qu'on a posées à 5000 migrants jusqu'à ce que la GRC, suivant un tollé, retire le questionnaire, jugé «inapproprié» par le ministère de la Sécurité publique.

«Nous ne savons pas ce qui est arrivé à ces données et si elles pourraient être utilisées par un algorithme qui conduirait potentiellement à des décisions discriminatoires fondées sur l'appartenance religieuse ou ethnique», dit Petra Molnar.

Alors quoi? Les chercheurs ne s'opposent pas nécessairement à l'utilisation de l'intelligence artificielle, mais ils militent pour une utilisation responsable de ces technologies à haut risque. Une utilisation qui mettrait la question des droits de la personne au centre de la réflexion, insiste Petra Molnar. «Le Canada est vu comme un leader en matière de droits de la personne. Et il se positionne comme un leader en intelligence artificielle. Alors c'est l'occasion d'avoir cette conversation avec d'autres pays qui regardent comment nous utilisons ces technologies.»

Le rapport recommande notamment au gouvernement plus de transparence dans l'utilisation de ces technologies et un moratoire jusqu'à ce qu'un système uniforme de reddition des comptes et d'utilisation responsable soit mis en place. Bref, on demande d'utiliser l'intelligence artificielle de manière vraiment intelligente et humaine, en tout respect des droits et des lois. Ce serait la moindre des choses.

Réaction du ministère fédéral de l'Immigration

Appelé à commenter le rapport de l'Université de Toronto, Immigration, Réfugiés et Citoyenneté Canada (IRCC) m'a fait parvenir un courriel où on dément certaines informations contenues dans l'étude. Selon le Ministère, le rapport «indique à tort que la demande de renseignements d'IRCC vise l'obtention d'information sur l'automatisation du processus décisionnel».

IRCC «ne prévoit pas» utiliser l'intelligence artificielle pour automatiser la prise de décisions relatives à des demandes d'immigration ou des demandes d'asile, ni dans les cas de demandes humanitaires ou d'évaluation des risques avant renvoi. «Toutes les décisions de rejeter une demande sont prises par un agent à la suite d'un examen rigoureux», indique-t-on.

Le recours à l'intelligence artificielle se veut simplement «un autre outil susceptible d'aider les agents et autres employés à gérer le volume sans cesse croissant de demandes».

On précise que le Ministère «tient déjà compte» des nombreuses questions importantes soulevées dans le rapport et qu'il les «évalue au fur et à mesure» de son utilisation de ce type de technologie. «IRCC examine actuellement le rapport de plus près et espère pouvoir discuter avec ses auteurs des recommandations qui y sont formulées.»