Les résultats québécois aux tests PISA remis en question

Les écoles et les élèves du Québec sont nombreux à bouder les tests internationaux en sciences, mathématiques et lecture qui permettent d'établir des comparaisons entre les pays. Conséquence : la participation minimale exigée pour ces épreuves est systématiquement ratée au Québec depuis 10 ans, et les experts sont divisés quant à savoir si on peut se fier aux scores impressionnants qu'y décrochent les jeunes Québécois.

Les résultats des tests PISA de l'édition 2015 ont été dévoilés cette semaine, soulevant comme toujours leur lot de fierté, mais aussi de controverse. Les élèves québécois y figurent parmi les meilleurs du monde tant en sciences et en mathématiques qu'en lecture. Le rapport incite cependant à prendre les résultats du Québec avec «circonspection» à cause du fort taux de non-réponse. C'est que moins de 52% des écoles québécoises sollicitées ont participé à la dernière édition des tests, alors que le taux minimum exigé est de 85%.

Le Devoir a révélé hier qu'un appel au boycottage lancé par la Fédération québécoise des directions d'établissement (FQDE) a de toute évidence empêché des écoles publiques de participer aux tests. En entrevue à La Presse, la présidente de la FQDE, Lorraine Normand-Charbonneau, a expliqué que le boycottage des épreuves internationales a été choisi pour protester contre l'échelle salariale des directeurs et directeurs adjoints des écoles.

«Il n'est pas rare, dans nos écoles, qu'un enseignant fasse un meilleur salaire qu'un directeur adjoint. Cela rend le recrutement des directions d'école difficile, et c'est cela qu'on dénonce. On a choisi des moyens qui n'ont pas d'impact direct sur la réussite des élèves», a-t-elle dit.

Les membres de la FQDE représentent 70% des écoles du Québec, toutes publiques. On sait que 2885 élèves de 93 écoles ont participé à la dernière enquête PISA. Ni le ministère de l'Éducation et de l'Enseignement supérieur du Québec ni le Conseil des ministres de l'Éducation du Canada (CMEC), qui gère les tests PISA au Canada, n'ont cependant été en mesure d'en fournir la liste. On ignore donc la proportion d'écoles privées qui ont participé à l'exercice.

Un échantillon mis en doute

Le faible taux de participation des écoles québécoises fait craindre à plusieurs experts que les résultats des jeunes Québécois aux tests PISA soient artificiellement gonflés par les élèves des écoles privées. Un rapport du CMEC mentionne d'ailleurs que les pourcentages d'écoles anglophones et d'écoles privées qui ont répondu au PISA en 2015 ne correspondent pas à ceux observés dans l'ensemble du système scolaire québécois.

«L'échantillon ne tient pas la route. Il n'est pas représentatif. On ne peut pas prendre des décisions pour un système scolaire de 1,3 million d'élèves comme le nôtre à partir des résultats des tests PISA.» - Égide Royer, professeur à la faculté des sciences de l'éducation de l'Université Laval

L'expert affirme qu'il doute depuis des années des scores impressionnants des Québécois aux tests PISA. Ces résultats, selon lui, ne sont pas compatibles avec le faible taux de diplomation des écoles québécoises.

Patrice Potvin, professeur au département de didactique à l'Université du Québec à Montréal (UQAM), incite cependant à ne pas jeter le bébé avec l'eau du bain. Il rappelle qu'en mathématiques, notamment, la force des élèves québécois est confirmée par plusieurs autres tests comparatifs.

«Même si le Canada ou le Québec étaient surestimés de cinq ou sept places dans le PISA, ce qui est une hypothèse très pessimiste selon moi, il y aurait encore matière à se féliciter», dit-il.

«La non-représentatitivité de l'échantillon ne signifie pas automatiquement que les résultats sont biaisés, mais cela laisse supposer que cela pourrait être possible. Il est malheureusement impossible de le savoir à coup sûr», commente de son côté Gilles Raîche, professeur à la faculté des sciences de l'éducation de l'UQAM.

Des problèmes récurrents

Le faible taux de participation à l'enquête PISA a été exacerbé l'an dernier par l'appel au boycottage de la FQDE, mais il représente un problème récurrent au Québec. À chaque édition de l'épreuve, qui se tient tous les trois ans, le taux de réponse des écoles ou des élèves de la province est systématiquement inférieur aux normes exigées. Cela force les autorités à faire des analyses pour vérifier la validité des résultats au Québec.

En 2012, par exemple, une trop faible participation des élèves avait amené le ministère de l'Éducation du Québec à comparer les élèves qui avaient passé le test PISA à ceux qui ne l'avaient pas passé. On avait conclu que les filles et les élèves du privé étaient surreprésentés parmi ceux qui avaient répondu à l'enquête PISA. Ceux-ci avaient aussi en moyenne mieux réussi l'épreuve de français provinciale, «laissant croire qu'ils étaient plus fort que l'ensemble des élèves québécois».

Le ministère de l'Éducation et de l'Enseignement supérieur du Québec n'a pas répondu à nos questions sur les raisons pouvant expliquer ces problèmes récurrents de participation.

***

LES PROBLÈMES DES TESTS PISA AU QUÉBEC

2006 : Le taux de réponse des élèves (74%) est inférieur à la norme exigée (80%).

2009 : Le taux de réponse des écoles (69%) est inférieur à la norme exigée (85%). Le taux de réponse des élèves est aussi trop faible (71% au lieu de 80%). Une analyse révèle que les répondants aux tests viennent de milieux socioéconomiques légèrement plus favorisés que les autres, et qu'ils ont obtenu de meilleures notes à l'épreuve de français provinciale.

2012 : Le taux de réponse des élèves (75,6%) est inférieur à la norme exigée (80%). Une analyse montre que les filles et les élèves des écoles privées sont surreprésentés parmi ceux qui ont passé les tests PISA.

2015 : Le taux de réponse des écoles (52%) est largement inférieur à la norme exigée (85%). Une analyse montre que la proportion d'écoles privées et d'écoles anglophones est différente de celle qui existe dans l'ensemble du réseau scolaire québécois.

Enquête PISA : Le Programme international pour le suivi des acquis, ou PISA, est administré tous les trois ans à des élèves de 15 ans d'un grand nombre de pays. Ce ne sont pas tous les élèves qui passent ces examens. Des écoles sont d'abord choisies au hasard, puis des élèves de ces écoles sont sélectionnés. L'objectif est de former un échantillon représentatif de tous les élèves d'une province ou d'un pays.