Notre système d’éducation est souvent décrit comme catastrophique, en lambeaux. En parallèle, nos scores aux tests internationaux PISA sont admirables depuis 20 ans, test après test, surtout en mathématiques.

Encore cette année, les résultats à cet examen faits par les élèves de 15 ans sont admirables1. Si le catastrophique système québécois finit 1er au Canada et 8e au monde en maths, autant chez les faibles que les forts, imaginez l’état du réseau ailleurs…

Mais ces résultats du Québec sont douteux, entend-on. L’échantillon ne semble pas fiable et pourrait inclure trop d’écoles privées, comme si les dés étaient pipés.

Ce sentiment pourrait être exacerbé cette année et pas seulement en raison des grèves. Selon ce que j’ai découvert, le Canada et le Québec n’ont PAS répondu aux standards internationaux d’échantillonnage de PISA.

Ah bon ! Voilà donc qui prouve la tromperie ? Pas si vite.

En résumé, pour que les résultats soient valides, il faut que le taux de participation des 29 234 élèves sélectionnés au hasard au Canada atteigne 80 %, sans quoi le consortium PISA les remet en question. Les moins forts se sont-ils absentés ?

Or, le taux de réponse a été en bas de 80 % dans 7 des 10 provinces. L’Alberta a un taux de réponse de seulement 62,9 %, la Colombie-Britannique, de 73,1 % et l’Ontario, de 79,1 %.

Le Québec, lui, est à 79,3 %, un poil sous la barre des 80 %.

Le phénomène s’explique par les restes de pandémie en 2022, l’examen ayant été réalisé au printemps 2022 (les résultats ont été publiés le 5 décembre 2023).

Voilà qui prouve le subterfuge, non ? Attendez, attendez.

Étant donné ces taux sous la norme, le consortium PISA a exigé que soit effectuée une analyse fine de l’échantillon. Plus précisément, l’organisation a demandé à Statistique Canada – le grand maître des statistiques – de comparer le profil des élèves répondants à ceux qui n’ont pas répondu. Pour le Québec, on a utilisé les notes des deux groupes aux examens provinciaux.

Conclusion : les élèves répondants à l’examen PISA ont un meilleur profil que celui des non-répondants, si bien que les scores canadiens à PISA pourraient être plus élevés que la force réelle de l’ensemble des élèves. Le consortium publie tout de même les résultats, mais précise qu’il faut les « traiter avec prudence »2.

Ah ha ! me direz-vous, voilà l’arnaque ! Encore un peu de patience.

Le Canada n’est pas le seul dans ce bateau. Les États-Unis, le Royaume-Uni, le Danemark, l’Australie et 8 autres régions participantes dans le monde sont dans une situation semblable.

Le Québec ? Chacune des 7 provinces problématiques ont des résultats probablement trop élevés pour leurs élèves anglophones, mais pour le Québec, notamment, l’analyse de ce biais n’est pas concluante pour les élèves francophones, selon Statistique Canada3.

Dit autrement, les scores des répondants francophones du Québec en maths sont jugés fiables. Bref, pas de tromperie statistique pour l’essentiel de nos élèves.

Pour convaincre les derniers sceptiques, sachez que les écoles ne sont pas sélectionnées par le gouvernement, mais par un organisme externe mandaté par le consortium PISA. L’échantillon se veut représentatif et la sélection est faite de manière aléatoire.

Autre élément : il est vrai que certains élèves sont carrément exclus de l’examen par le personnel de l’école, ultimement, en raison d’une incapacité intellectuelle, physique, de la langue ou parce qu’ils étaient en mode virtuel, interdit par PISA. Sauf que le taux d’exclusion au Québec est le 2e plus bas au Canada, à 1,7 % (le taux d’exclusion canadien est de 4,4 %).

La déficience intellectuelle est invoquée 2 à 3 fois plus souvent au Canada anglais qu’au Québec comme motif d’exclusion (0,8 % au Québec contre 1,8 % en Ontario et 2,8 % en Colombie-Britannique)4.

Voilà pour les doutes. Les résultats admirables maintenant, qui portent principalement sur les maths cette année (en plus de lecture et sciences).

Le score moyen des jeunes Québécois en maths a été de 514, comparativement à une moyenne de 497 au Canada. Les Québécois du réseau francophone ont eu 515 et ceux du réseau anglophone, 500.

Le résultat des Québécois est jugé statistiquement supérieur à celui des autres provinces et à la moyenne des 80 régions du monde qui ont participé (score de 472). Les scores sont exprimés sur une échelle basée sur l’année 2003 dont la moyenne était de 500 parmi les pays participants.

Les États-Unis, la France et la Suède, des pays que certains vénèrent pour diverses raisons, ont eu des résultats nettement plus bas de 465, 474 et 482.

Autre angle d’analyse : la proportion d’élèves qui ne réussissent pas le minimum requis pour participer pleinement à la vie en société (le niveau 2 de 6 niveaux).

Au Québec, 17 % de nos élèves n’atteignant pas ce niveau 2, contre une moyenne de 22 % au Canada. Le Nouveau-Brunswick, la Saskatchewan, la Nouvelle-Écosse et Terre-Neuve ont plus de 30 % de leurs élèves qui échouent au niveau 2. Ouch !

Ailleurs, c’est aussi mauvais. La France est à 29 %, l’Allemagne, à 30 % et les États-Unis, à 34 %, deux fois le taux du Québec. Avec de telle proportion d’élèves faibles, imaginez la composition des classes !

Mais la vraie catastrophe est ailleurs. Au Mexique, les deux tiers des élèves de 15 ans ne réussissent pas le niveau 2, niveau qui est la base pour comprendre et bien fonctionner, rappelons-le. Et au Maroc, d’où nous siphonnons une grande part des plus talentueux pour l’immigration, ce taux est de 82 % ! Dramatique !5

Cela dit, presque partout, les résultats sont en baisse, essentiellement en raison de la COVID-19. Au Canada, le déclin a été progressif au fil des 6 examens PISA depuis 2003, mais le recul de 2022 est nettement plus marqué, à 497.

En comparaison, le Canada avait obtenu 518 en 2012, dernière année où les maths étaient le sujet principal du PISA. Le Québec, lui, est passé de 536 en 2012 à 514 en 2022.

Voilà pour les résultats.

Je ne remets pas en question les nombreux témoignages d’enseignants au sujet des difficultés des classes dites régulières au Québec, victimes de l’écrémage des écoles privées et de certaines du public qui offrent des programmes particuliers (international, etc.). Victimes aussi, selon moi, des carences de certains parents, mais ça, c’est une autre histoire.

Mais je me dis qu’il y a un truc qui nous échappe, à voir les scores enviables du Québec depuis 20 ans.

En tout cas, bravos aux enseignants et aux équipes-écoles qui parviennent à faire aussi bien dans un contexte pas toujours facile. Et je vous - je nous – souhaite une bonne entente !

1. PISA soit le Programme international pour le suivi des acquis des élèves (PISA), administrés par l’Organisation de coopération et de développement économique (OCDE).

2. Autre problème, le taux de réponse des écoles sélectionnées, qui doit être de 85 %, a été plus bas dans 2 provinces, soit le Québec (69,9 %) et l’Alberta (57 %). Toutefois, l’analyse fine de Statistique Canada a conclu qu’il n’y avait aucune différence significative (ou biais de non-réponse) entre les écoles répondantes et non répondantes.

3. Consultez le rapport sur PISA fait par le Conseil des ministres de l’Éducation du Canada (CMEC)

4. Les irréductibles diront que le décrochage plus grand au Québec explique les bons résultats, mais des experts font valoir que le décrochage touche surtout des élèves de plus de 15 ans, soit après l’âge du test PISA, car la fréquentation scolaire est obligatoire jusqu’à 16 ans.

5. Parmi les 7 participants qui dépassent le Québec en maths, il y a deux régions développées de Chine, soit Hong Kong et Macao, qui représentent seulement 0,6 % de la Chine continentale. Taïwan et le Japon sont très forts et Singapour, au premier rang, a des résultats absolument exceptionnels (moyenne de 575).