Vie numérique Les jeux d’enfants en ligne peuvent coûter cher aux parents

Quand Jennifer Watkins a reçu un message de YouTube décrétant la fermeture de sa chaîne, elle ne s’en est pas inquiétée. Après tout, elle n’utilisait pas YouTube.

En revanche, ses jumeaux de 7 ans utilisaient une tablette connectée à son compte Google pour regarder du contenu pour enfants et pour mettre sur YouTube leurs pitreries dansantes. Peu de ces vidéos ont été vues plus de cinq fois. Celle qui a mis M^me Watkins dans le pétrin, réalisée par un de ses fils, était différente.

« Apparemment, c’était une vidéo de ses fesses », dit M^me Watkins, qui ne l’a jamais vue. « Un camarade de classe l’avait mis au défi de se filmer nu. »

YouTube, filiale de Google, dispose de systèmes d’intelligence artificielle qui scrutent les centaines d’heures de vidéos téléchargées chaque minute. Parfois, cet examen dérape et désigne des personnes innocentes comme agresseurs d’enfants.

Le New York Times a documenté d’autres cas où la vie numérique de parents a été bouleversée par des photos et des vidéos de leurs enfants nus, repérées par l’intelligence artificielle de Google et jugées illicites par des examinateurs humains. Des parents ont fait l’objet d’une enquête de police.

Tous ses comptes Google suspendus

Dans le cas de M^me Watkins, la « vidéo de fesses » du garçon, mise sur YouTube en septembre, a rapidement été signalée comme possible exploitation sexuelle d’un enfant, une violation des conditions d’utilisation de Google ayant de graves conséquences.

M^me Watkins, une travailleuse médicale qui vit en Australie, a d’un coup perdu accès à YouTube, mais surtout à tous ses comptes chez Google, y compris ses photos, ses documents et son courrier électronique. Elle ne pouvait plus recevoir son horaire de travail, consulter ses relevés bancaires ou « commander un ultra-frappé » avec l’appli de McDonald’s par le truchement de son compte Google.

Une page de connexion Google l’a informée que son compte allait être supprimé, mais qu’elle pouvait faire appel de la décision. Elle a cliqué sur le bouton « Demande d’appel » et a écrit que ses fils ont 7 ans, que c’est l’âge où « les fesses font rire », et que c’est eux qui avaient publié la vidéo.

Le blocage de ses comptes lui « nuit financièrement », a-t-elle ajouté.

Lutte contre la pédopornographie en ligne

Des organismes pour le bien-être des enfants et des élus du monde entier ont poussé les entreprises technologiques à contrer la diffusion de pédopornographie sur leurs plateformes en bloquant ce type de contenu. De nombreux services en ligne analysent désormais les photos et vidéos enregistrées et partagées par les utilisateurs, à l’affût d’images répréhensibles déjà signalées aux autorités.

Google voulait aussi pouvoir détecter des contenus nouveaux. L’entreprise a mis au point un algorithme – formé à partir d’images connues – censé identifier les contenus exploitants inédits. Google l’a mis à la disposition de Meta, de TikTok et d’autres entreprises.

La vidéo publiée par le fils de M^me Watkins, identifiée par cet algorithme, a ensuite été vue par un employé de Google, qui a estimé qu’elle posait problème. Google l’a signalée au Centre national pour les enfants disparus et exploités (NCMEC), un organisme chargé par le gouvernement américain de colliger les contenus signalés. (Le NCMEC peut ajouter les images signalées à sa base de données et décide si elle doit être signalée à la police.)

Selon les statistiques du NCMEC, les plateformes de Google sont parmi les plus utilisées pour diffuser de la « pédopornographie potentielle ». Google a fait plus de 2 millions de signalements l’an dernier, bien plus que la plupart des entreprises numériques, mais moins que Meta.

(Selon les experts, il est difficile d’évaluer la gravité du phénomène à partir des seuls chiffres. Des experts de Facebook ont scruté un petit échantillon d’images d’enfants signalées : selon eux, 75 % des utilisateurs ayant publié ces images « n’avaient pas d’intention malveillante ». Certains d’entre eux étaient des adolescents amoureux ayant partagé des images intimes. D’autres utilisateurs avaient partagé un mème montrant les parties génitales d’un enfant mordues par un animal « parce qu’ils trouvaient ça drôle ».)

Procédure d’appel révisée

À l’automne 2022, Susan Jasper, directrice confiance et sécurité chez Google, a annoncé que l’entreprise comptait mettre à jour sa procédure d’appel pour « améliorer l’expérience utilisateur » des gens qui « pensent que [l’entreprise a] pris de mauvaises décisions ». Google fournit désormais des éléments d’explication si elle suspend un compte, au lieu, comme avant, d’un avis faisant seulement état d’une « violation grave » des règles de l’entreprise. Ainsi, M^me Watkins a été informée que le blocage de son compte résultait d’une vidéo tombant sous la rubrique « exploitation des enfants ».

Malgré ses appels répétés, M^me Watkins a été déboutée. Elle avait un compte Google payant lui permettant d’échanger avec le service à la clientèle, qui a statué que la vidéo, même s’il s’agissait de l’acte innocent d’un enfant, violait quand même les règles de l’entreprise (la correspondance numérique a été examinée par le Times).

Cette sanction draconienne pour une frasque d’enfant est injuste, dit M^me Watkins, qui se demande pourquoi Google ne lui a pas donné un avertissement avant de lui couper l’accès à tous ses comptes et à plus de dix ans de souvenirs numériques.

Après plus d’un mois de tentatives infructueuses auprès de Google, M^me Watkins a écrit au Times.

Un jour après l’appel du journal, son compte Google a été rétabli.

« Nous ne voulons pas que nos plateformes servent à mettre en danger ou exploiter des enfants », a indiqué Google, rappelant les attentes du public et des autorités concernant « les mesures les plus fermes pour détecter et contrer » les sévices sexuels infligés aux enfants. « Dans le cas présent, nous comprenons que le contenu contrevenant aux règles n’a pas été publié à des fins malveillantes. » Google n’a fourni aucune explication sur l’impossibilité de faire réexaminer un appel rejeté autrement qu’en faisant intervenir le New York Times.

Entre l’arbre et l’écorce

Dans de telles situations, Google est entre l’arbre et l’écorce, note Dave Willner, chercheur au Cyber Policy Center de l’Université de Stanford, qui a travaillé en sécurité dans plusieurs grandes entreprises technologiques. Même si une photo ou une vidéo est mise en ligne sans mauvaise intention, elle peut être reprise et partagée à des fins malveillantes.

Selon lui, les problèmes de M^me Watkins avec Google après le blocage de ses comptes montrent qu’on devrait « répartir sa vie numérique » et ne pas se fier à une seule entreprise pour tous ses services.

M. Watkins tire une autre leçon de sa mésaventure : il ne faut pas que les enfants utilisent le compte des parents. Il faut créer un compte distinct pour les activités internet des enfants – ce que recommande Google.

Mais pas pour ses jumeaux, précise M^me Watkins ; en tout cas, pas tout de suite. Après ce qui s’est passé, ils sont privés de l’internet.

Cet article a été publié dans le New York Times

Lisez cet article dans sa version originale (en anglais ; abonnement requis)