Dans un article récent, La Presse a repris les résultats d’un classement élaboré par une firme de consultation britannique qui « propulse » le Québec au rang de « 7e puissance mondiale en IA ». Cette étude est une commande de Forum IA Québec, un organisme sans but lucratif créé par le gouvernement Legault en 2020, dont le conseil d’administration est majoritairement composé de membres liés à des organisations directement impliquées dans l’économie de l’intelligence articifielle (IA). Dès lors, doit-on s’étonner que l’étude commanditée fasse du Québec un « leader » qui égale, voire surpasse, des nations comme l’Allemagne et le Japon ? La présidente-directrice générale de Forum IA Québec peut bien jurer la main sur le cœur que Tortoise est une « firme très neutre qui applique une méthodologie très rigoureuse », examinons de plus près le sérieux de ce classement.
Pompeusement baptisé « Global AI Index », le classement de chaque pays est en fait établi en additionnant sept indices hétérogènes, définis de façon arbitraire et selon une méthodologie opaque.
Cette première observation est confirmée par un examen plus poussé des sept indices qui sont décomposés en une myriade d’indicateurs (143 au total) dont on peine souvent à déterminer la pertinence, voire la relation avec l’objet censé être mesuré. En cela, le classement établi par Tortoise piétine deux caractéristiques fondamentales de tout bon indicateur, soit l’homogénéité de la composition et la transparence.
Prenons l’indice « recherche », dans lequel le Québec se classe 5e au monde et qui pèse 21,27 % dans le classement général. Pourquoi ce nombre plutôt que 20, 22, voire 25 % ? On l’ignore… L’indice inclut certes un indicateur valable, soit le nombre total de publications scientifiques d’un pays en IA, mais on y retrouve surtout des indicateurs que les experts en bibliométrie considèrent comme non valides parce qu’ils sont mal construits, tels que l’« indice h » des chercheurs ou la somme non normalisée des citations reçues par les articles publiés en IA de chaque pays. S’y ajoutent des indicateurs sans queue ni tête tel le nombre de citations reçues par millions d’habitants ! Sans oublier ceux qui n’ont aucun lien avec l’IA, tel le nombre d’universités classées dans le top 100 du magazine Times Higher Education… dans la discipline des sciences physiques. En plus d’inclure des indicateurs farfelus, l’indice « recherche » ne respecte donc pas un autre critère fondamental de validité qu’est la correspondance à l’objet mesuré.
Prenons un autre indicateur, celui de la « stratégie gouvernementale », pour lequel le Québec reçoit également une note élevée. Il dépend en partie des investissements publics consentis en IA et on sait que les gouvernements tant provincial que fédéral y ont misé près de 1,2 milliard de dollars depuis 2017. Or, faire couler l’argent à flots dans un secteur donné ne signifie nullement que l’on y agit en « stratège ». Il suffit de penser à l’« Initiative des supergrappes en innovation » du gouvernement fédéral, dont une a été consacrée à l’IA pour un investissement de 230 millions de dollars sur cinq ans. Selon un rapport publié fin 2020 par le Bureau du directeur parlementaire du budget (DPB), le gouvernement n’a semble-t-il établi aucun indicateur quantifiable permettant de mesurer l’effet réel de ces « supergrappes » sur la hausse de productivité des entreprises ou sur la création de produits ou de procédés. Le DPB en conclut qu’il est incapable de « dire si l’initiative des supergrappes d’innovation permet ou permettra véritablement d’accélérer l’innovation ». On a déjà vu mieux en termes de « stratégie » !
On pourrait ainsi multiplier les exemples d’indicateurs opaques ou mal construits, comme l’inclusion du nombre de personnes indiquant « data scientist » dans leur profil LinkedIn pour mesurer l’indice du « talent » en IA. On préférera conclure en rappelant la nécessité de rester vigilant face à ce type de « classements » improvisés qui n’ont d’autre fonction que celle de générer du buzz médiatique. Ces classements pseudo-scientifiques ne sont que des outils de marketing qui servent à mousser les intérêts d’un petit nombre de promoteurs, tout en légitimant a posteriori des politiques gouvernementales hasardeuses dont les coûts seront assumés par les contribuables et non par les entreprises supposément « innovantes ».
Lisez « Intelligence artificielle : le Québec se classe 7e au monde » Qu'en pensez-vous? Exprimez votre opinion