L’IA à la rescousse pour contrer la sextorsion

Presque chaque semaine, Brian Levine, informaticien à l’Université du Massachusetts à Amherst, se fait poser cette question par sa fille de 14 ans : puis-je télécharger cette application ?

M. Levine tamise alors des centaines d’avis de clients dans l’App Store avec des mots-clés comme « harcèlement », « abus sexuel » et « enfant ». Ce processus manuel et arbitraire lui a donné l’idée d’un outil pour aider les parents à évaluer rapidement les applications.

Depuis deux ans, M. Levine planche sur un modèle informatique qui évalue les commentaires des clients sur les applications. En utilisant l’intelligence artificielle (IA) pour évaluer le contexte des commentaires contenant des mots comme « child porn » ou « pedo », M. Levine et une équipe de chercheurs ont créé un site web consultable appelé App Danger Project, qui fournit des conseils clairs sur la sécurité des applications de réseautage social.

Le site web recense les signalements de prédation sexuelle et évalue la sécurité des applications ayant reçu des commentaires négatifs. Il répertorie les avis mentionnant l’abus sexuel. L’équipe n’a pas fait de suivi sur la véracité des commentaires, mais elle les a tous lus et a exclu ceux qui ne signalaient pas d’enjeu de sécurité pour les enfants.

Les prédateurs utilisent de plus en plus des applications et l’internet pour collecter des images explicites. L’année dernière, les polices américaines ont reçu 7000 signalements de jeunes incités à envoyer des images d’eux nus, puis soumis au chantage pour obtenir plus de photos ou de l’argent. Le FBI ne révèle pas combien de ces signalements étaient crédibles. Ces évènements, appelés sextorsion, ont plus que doublé pendant la pandémie.

Comme l’App Store et Google Play n’offrent pas la recherche par mot-clé, il peut être difficile pour les parents de trouver des avertissements de comportements sexuels inappropriés, dit M. Levine. Pour lui, le projet App Danger, qui est gratuit, vient complémenter d’autres services qui évaluent si des produits conviennent aux enfants – comme Common Sense Media – en identifiant les applications qui ne surveillent pas assez les utilisateurs. Son site est sans but lucratif, mais encourage les dons à l’Université du Massachusetts pour compenser ses coûts.

Beaucoup d’applis dénoncées

M. Levine et une dizaine d’informaticiens ont étudié le nombre d’avis signalant des abus sexuels sur des enfants dans plus de 550 applications distribuées par Apple et Google.

Ils ont constaté qu’un cinquième de ces applications comportait au moins deux plaintes relatives à des abus sexuels sur des enfants et que 81 applications des magasins App et Play comportaient au moins sept critiques de ce type.

Leur enquête s’appuie sur des rapports antérieurs sur des applications faisant l’objet de plaintes relatives à des interactions sexuelles non désirées. En 2019, le New York Times a expliqué comment les prédateurs utilisent les jeux vidéo et les plateformes de médias sociaux comme terrain de chasse. Cette année-là, un rapport distinct du Washington Post a fait état de milliers de plaintes concernant six applications, ce qui a conduit Apple à supprimer les applications Monkey, ChatLive et Chat for Strangers.

Apple et Google ont un intérêt financier à distribuer des applications. Les géants de la technologie, qui s’arrogent jusqu’à 30 % des ventes d’applications, ont aidé trois applications pour lesquelles de nombreux utilisateurs ont signalé des abus sexuels à générer 30 millions de dollars de ventes l’année dernière : Hoop, MeetMe et Whisper, selon Sensor Tower, un cabinet d’études de marché.

Hoop, MeetMe et Whisper

Dans plus d’une douzaine d’affaires criminelles, le département de la Justice a décrit ces applications comme des outils utilisés pour demander à des enfants des images ou des rencontres à caractère sexuel : Hoop dans le Minnesota, MeetMe en Californie, au Kentucky et dans l’Iowa, et Whisper dans l’Illinois, le Texas et l’Ohio.

M. Levine a déclaré qu’Apple et Google devraient fournir aux parents plus d’information sur les risques de certaines applications et mieux surveiller celles qui ont déjà fait l’objet de signalements.

Apple et Google disent analyser régulièrement les commentaires sur les applications à l’aide de leurs propres modèles informatiques et qu’ils enquêtent sur les allégations de pédoprédation. Les applications qui transgressent leurs politiques sont supprimées. Les applications sont classées par âge pour aider parents et enfants, et des logiciels permettent aux parents de bloquer des téléchargements. Les deux entreprises proposent aussi aux développeurs d’applications des outils pour contrôler les contenus à caractère sexuel destinés aux enfants.

Un porte-parole de Google a déclaré que l’entreprise avait examiné les applications répertoriées par l’App Danger Project et qu’elle n’avait pas trouvé d’élément prouvant l’existence de matériel pédopornographique.

« Bien que les commentaires des utilisateurs jouent un rôle important en tant que signal pour déclencher une enquête plus approfondie, les allégations tirées des commentaires ne sont pas suffisamment fiables en elles-mêmes », a-t-il déclaré.

Apple aussi a examiné les applications répertoriées par l’App Danger Project et en a supprimé 10 qui enfreignaient ses règles de distribution. La société a refusé de fournir une liste de ces applications et ses raisons d’agir ainsi.

« Notre équipe App Review travaille 24 heures sur 24 et 7 jours sur 7 pour examiner soigneusement chaque nouvelle application et chaque mise à jour d’application afin de s’assurer qu’elles répondent aux normes d’Apple », a déclaré un porte-parole dans un communiqué.

Le projet App Danger a déclaré avoir trouvé un nombre important de commentaires suggérant que Hoop, une application de réseau social, n’était pas sûre pour les enfants ; par exemple, il a constaté que 176 des 32 000 commentaires depuis 2019 signalaient de la pédoprédation.

Hoop, qui est sous la responsabilité d’une nouvelle direction, dispose d’un nouveau système de modération du contenu pour renforcer la sécurité des utilisateurs, a déclaré son PDG, Liath Ariche, ajoutant que les chercheurs ont mis en lumière les difficultés qu’ont eues les fondateurs pour contrer les utilisateurs malveillants. « La situation s’est beaucoup améliorée », dit M. Ariche.

Le groupe Meet, propriétaire de MeetMe, a déclaré qu’il ne tolérait pas l’abus ou l’exploitation de mineurs et qu’il utilisait des outils d’intelligence artificielle pour détecter les prédateurs et les signaler aux forces de l’ordre. Il signale toute activité inappropriée ou suspecte aux autorités, y compris un épisode de 2019 dans lequel un homme de Raleigh, en Caroline du Nord, a sollicité de la pornographie juvénile.

Whisper n’a pas répondu aux demandes de commentaires.

Homme condamné

Apple et Google soumettent chaque année des centaines de rapports au centre d’information américain sur les abus sexuels commis sur des enfants, mais ne précisent pas si certains de ces rapports sont liés à des applications.

Whisper fait partie des applications dont l’équipe de M. Levine a constaté qu’elles sont souvent critiquées pour de l’exploitation sexuelle. Après avoir téléchargé l’application, une élève du secondaire a reçu en 2018 un message d’un inconnu qui lui proposait de contribuer à la collecte de fonds d’une école de robotique en échange d’une photo seins nus. Après qu’elle a envoyé une photo, l’inconnu a menacé de l’envoyer à sa famille si elle ne fournissait pas d’autres images.

La famille de l’adolescente a signalé l’évènement aux forces de l’ordre locales, selon un rapport du département de police de Mascoutah, dans l’Illinois, qui a ensuite arrêté un homme de la région, Joshua Breckel. Ce dernier a été condamné à 35 ans de prison pour extorsion et pornographie juvénile. Bien que Whisper n’ait pas été tenu responsable, elle a été désignée, avec une demi-douzaine d’applications, comme le principal outil qu’il utilisait pour collecter des images de victimes âgées de 10 à 15 ans.

Cet article a été publié à l’origine dans le New York Times.

Lisez cet article dans sa version originale (en anglais ; abonnement requis)