Image d'un ordinateur portable

Des citoyens sélectionnés pour la pertinence de leurs propos Icone tooltip

La surinterprétation des sondages d'opinion

Guillaume Marois
 

Guillaume Marois

Doctorant en démographie à l'INRS

Visiblement, les programmes de communication et journalisme des universités québécoises devraient songer à offrir un cours de statistique obligatoire aux étudiants. Avec les interprétations du dernier sondage CROP-Le Soleil-La Presse portant sur le conflit étudiant, nous voyons cette lacune à grand jour.

«Sondage favorable à la loi spéciale», titrait un article du 20 mai. «Les Québécois en faveur de la ligne dure», pouvait-on lire dans un autre du 19 mai. Or, ces titres sont trompeurs, voire mensongers: ce n'est pas ce que le sondage révèle. La chroniqueuse Marie-Claude Lortie, s'étonnant du résultat du sondage, se demandait qui sont ces gens qui «trouvent que cette loi est une bonne idée». À juste titre, il faut se poser des questions.

Il convient de faire une mise au point sur la méthodologie: l'échantillon n'étant pas probabiliste, celui-ci n'est pas représentatif de la population. Certes, les résultats sont pondérés selon l'âge et le sexe, mais le problème principal se trouve dans le fait que l'échantillon est autosélectionné, c'est-à-dire que les sondés ont eux-mêmes choisi de faire partie d'une liste d'envoi.

Est-ce que les gens qui ont fait ces démarches pour répondre à des sondages en ligne ont les mêmes opinions que les autres? Parfois, ça peut être le cas, mais d'autres fois, on peut en douter.

Pour s'en convaincre, peut-être doit-on rappeler que le bureau de Jean Charest s'est déjà fait prendre, en 2011, à inciter ses contacts à répondre à un sondage en ligne pour justement, biaiser les résultats de ce sondage et les rendre favorables au gouvernement. Ce genre de manipulation des résultats par des groupes d'individus à des fins partisanes ne peut se faire avec un échantillon probabiliste.

Pour des raisons techniques et matérielles, nous pouvons néanmoins comprendre les firmes de sondage d'utiliser ce genre de méthode. Cela dit, il faut alors apporter toutes les nuances nécessaires aux résultats obtenus et surtout, ne pas les utiliser de manière à influencer l'opinion publique.

Dans le débat sur les droits de scolarité, plusieurs justifient les actions du gouvernement en disant que la population appuie la hausse des droits de scolarité. Cette idée est tirée des résultats de sondage à échantillon autosélectionné (donc non représentatif de la population).

Or, le seul sondage représentatif de la population sur la question des droits de scolarité, effectué par la firme Harris-Decima, montre des résultats complètement à l'opposé: la majorité des Québécois serait pour le gel ou la diminution des frais. La différence entre les résultats d'un sondage ayant un échantillon probabiliste et un autre ayant un échantillon non probabiliste peut donc parfois être importante.

L'interprétation des résultats des sondages non probabilistes doit être faite avec une très grande prudence et, surtout, sans fin partisane. Ces principes de rigueur intellectuelle semblent avoir été bafoués récemment.

Comment peut-on conclure, comme c'est le cas de plusieurs articles reprenant les résultats du sondage sur la loi spéciale, que la population appuie massivement celle-ci, alors que le contenu de cette fameuse loi spéciale n'était même pas encore connu au moment du sondage?

D'une part, les personnes sondées ne représentent pas «la population» et d'autre part, elles ne pouvaient pas se prononcer objectivement sur cette loi, puisque le contenu de celle-ci n'était alors pas connu!

Une interprétation plus nuancée et objective aurait dit qu'une certaine partie de la population souhaite que le gouvernement réagisse. Mais évidemment, ça serait moins sensationnaliste. Manque de rigueur ou malhonnêteté partisane?

L'auteur est doctorant en démographie à l'Institut national de la recherche scientifique. Il est coauteur du livre Le remède imaginaire: pourquoi l'immigration ne sauvera pas le Québec.

Partager
Image d'un ordinateur portable

Des citoyens sélectionnés pour la pertinence de leurs propos Icone tooltip


Commentaires (16)

Commenter cet article »

  • Pour des questions de bénéfices et de marché, on est prêt à biaiser la vérité, à se mentir, finalement à se saboter nous-mêmes et notre démocratie (pour ne pas écrire "saborder"). C'est ce que dit cet article quand on le contextualise. Et il est là le réel problème : un dogmatisme mercantiliste, déterministe, où l'on parle de "Lois de l'argent" (au lieu de parler de mécanismes) auxquelles on nous a conditionné.
    L'auteur propose un "accommodement raisonnable", mais ce dernier ne le sera jamais (raisonnable) : quand on montre une image censée représenter quelque chose, mais qui dans les faits pourrait et devrait montrer autre chose, peu importe le discours qui l'accompagne, notre psyché a déjà enregistré la fausse représentation qu'on en fit, le premier lien qui interpela la mémoire. Goebbles a suffisamment étudié ce thème pour qu'on le sache à tout le moins expérimentalement. Quand de plus en parallèle, par pseudo soucis de « besoin à la performance », nous sommes en train de réduire l'accessibilité à l'éducation.... Note : en cela je ne parle pas seulement de l'accès aux bâtiments, mais aussi et surtout au cursus de qualité ; d'un cours de statistiques peut-être mais surtout ces "matières humanistes" dont on s'est dépourvu avec le temps à défaut de les orienter (ex. le révisionnisme politique des cours d'histoire imposé parle gouv. Libéral). Car ces derniers aiguillent vers la réflexion scientifique, pas l'inverse. L'apprentissage de l’exercice de réflexion permet de faire la part des choses, dont la conscience des réalités engendrent l’adaptation et l'évolution humaine, facteur majeur de la survie de l'humanité (et de son ascendance sur un monde animal dont la biologie des prédateurs est pourtant plus forte, plus meurtrière et plus violente que l'humain...).

  • Il est vrai que mener ce sondage avant même le dépôt de la loi spéciale le rend parfaitement inutilisable.
    Cela dit, M. Marois, vous faites 2 erreurs:
    1- Vous confondez sondage en ligne fait à partir d'un panel créé par une firme de sondage et sondage en ligne du type "Question TVA". C'est de ce second type dont on parle dans l'article "Charest incite ses contacts à répondre à un sondage en ligne". Le premier type ne peut pas être noyauté par n'importe qui puisque des personnes précises sont choisies pour y participer. Bien que non probabiliste, ce type de sondage est devenu la norme en terme de sondage à une époque où les gens ne répondent plus aux sondages téléphoniques. D'ailleurs orsque bien réalisés il a prouvé qu'il donnait d'excellents résultats.
    2- Vous surinterprétez le sondage Harris-Décima. Seulement 236 répondants au Québec, ça fait une grosse marge d'erreur. Considérant que la question peut porter à confusion, que l'opinion est très partagée et qu'on sait que cette question divise la population (vieux vs jeunes, mtl vs régions), je n'oserais formuler aucune conclusion à partir ce sondage.

  • @rabulotron
    1)Merci de ne pas présumer de mon opinion face à la loi. Je peux trouver crédible un sondage même si celui-ci ne reflète pas mon opinion. Faut faire la part des choses. Je suis conscient du moment où il a été fait, c’est pour cela que j’ai terminé en disant que j’ai hâte de voir comment les chiffres vont évoluer
    2) Une session au cégep coûte entre 150$ et 300$ en frais et droits de toute sorte, frais qui peuvent augmenter selon l’idéologie du gouvernement... Tu peux appeler cela «gratuit», tu peux tant qu’à y être penser que les frais afférents universitaires ne font pas partie de la facture étudiante. N’empêche que tu vas faire un chèque pareil au début de ta session au cégep
    3)Tu appuis sans le savoir mon point par rapport à Décima. Les frais demandés au Cégep vs universités sont très différents, dans leur définition et dans les montants. D’embarquer les 2 dans une même question par rapport au frais d’étude crée une confusion qui vient biaiser les résultats autant pour les Cégeps que pour les Universités. Y a-t-il 40% de la population qui croit que les étudiants du cégep devraient payer plus ou est-ce que ce score est gonflé en raison de la perception par rapport aux droits universitaires. 40%, pour la hausse des frais au Cégep, ce n’est pas le genre d’idée que je voudrais donner à un parti de droite comme la CAQ.

  • Depuis le début du conflit étudiant, j'ai remarqué un autre problème avec les sondages: dans la vaste majorité des cas, la méthodologie et les questions ne sont pas indiquées. Or, les questions des sondages sont parfois biaisées, et les résultats sont agrégés afin d'obtenir de beaux pourcentages clairs et trompeurs.
    Je me souviens d'un des premiers sondages qui montrait que le public était largement en faveur de la hausse de 75% sur 5 ans, et dont les résultats ont été repris maintes fois par les porte-parole du gouvernement. Je suis contre la hausse de 75%, mais je ne suis pas contre un dégel des frais de scolarité et une hausse raisonnable et justifiée. À mon grand bonheur, les questions de ce sondage étaient précisées, et je me rappelle avoir été surpris de voir que mon opinion m'aurait placé dans le camp des supporteurs de la hausse. Combien de personnes sondées étaient dans la même situation?

  • Il y a 3 types de mensonges, les petits,les gros et les statistiques ou les sondages selon le cas.
    Merci

  • Très bon texte M. Marois,
    Il n'est peut être pas indispensable de suivre un cours de sondage 101 pour connaître et comprendre la méthodologie du sondage scientifique (ou probabiliste, comme vous dites). Par exemple, je recommande le chapitre 9 du petit livre "Les structures du hasard: les probabilités et leurs usages", de Jean-Louis Boursin, Paris, Seuil, 1986.

  • La seule personne que je connaisse qui est pour la loi speciale l'est pour la très bonne raison (sarcasme) qu'il est tanné d'entendre parler du conflit.
    Cette personne devrais justement donner un cour collégial : Comment se discréditer un une phrase 101.

  • @ dom
    Wow. Vous parlez d'une supposée confusion dans le sondage Harris-Decima entre le gel au cégep et le gel à l'université sans même savoir que la gratuité scolaire s'applique jusqu'au niveau collégial inclusivement. Ça corrobore ce que je soupçonne depuis un certain temps: les pro-hausse et pro-loi 78 souvent ne sont pas informés. C'est la dictature de l'opinion volatile, basée sur l'humeur du jour plutôt que sur des faits vérifiés et vérifiables. Bravo pour votre article M. Marois.

  • Les sondages avantagent les médias qui les commandent, selon que c'est TVA, Gesca, le gouvernement, etc...
    Aussi évident que le nez dans le milieu du visage. Et celà, pas besoin d'un sondage pour s'en rendre compte.

  • On peut être pour ou contre tout ce que vous voulez, la question demeure. Comment peut-on exprimer son opinion sur une loi qui n'existe pas encore et qu’on n’a pas lu? J'ai de la difficulté à comprendre. Je suis d'accord qu'une majorité souhaitait un geste du gouvernement. Pas cette loi là.
    Sincèrement, faire de la question des droits de scolarité un printemps arabe est excessif. Mais ça réplique, la loi 78, est pire - même dans sa version amendée.
    Lisez-là cette loi. Le jour où ce sera votre organisation qui se verra confisquer ses locaux, vos représentants et votre association qui sera soumis à des amendes exorbitantes, par un Ministre qui en a déjà mare de vous entendre gueuler, on se rappellera alors de cette dérive excessive.
    Oui, la loi est temporaire. Mais elle reviendra si on ne dit rien et la prochaine fois ce sera un autre groupe de citoyens. Peut-être vous.
    JS Joyal

  • @Philotecte
    Et vous, etes-vous le fils des tetes a claques?

  • dans mon entourage j'ai jamais rencontré UNE seule personne en faveurs du gouvernement ou de la hausse, est-ce que je dois en tirer des conclusions statistiques M Brunelle ?
    pour les autres il est bien évident que les gros titres sont toujours un message que l'on veut faire passer. Au delà de la méthodologie du sondage, la Presse, qui est notoirement connue pour être un porte voix du parti libéral, a voulu frapper un grand coup avec un titre racoleur qui n'est pas à leur honneur. Par contre le fait de donner la parole à ceux qui critiquent leur propre comportement est très sain !

  • Vous devriez faire preuve de la même rigueur pour le sondage Décima que pour le sondage CROP. La question du sondage Décima auquel vous faite référence englobe le gel des cégeps et des universités. Une personne peut fort bien avoir un avis différent pour le gel au Cégep vs le gel à l'université. Cette confusion disqualifie cette question. Pour être intéressant, cela aurait dû être deux questions séparées.
    Ensuite, les résultats 66% vs 33% représentent quand même presque fidèlement les intentions de vote des partis en faveur de la loi Libéraux/CAQ vs ceux contre PQ/QS. Nous n'avons pas l'information, mais l'on peut penser que l'avis par rapport à la loi est fortement lié à l'allégeance politique. De fait, sans être probabiliste avec toutes les précautions nécessaires, ces résultats restent quand même crédibles et ne sont pas très surprenants.
    Ce qui sera intéressant, c'est de voir comment les chiffres évolueront à partir de maintenant.

  • Etes-vous le fils de l'opportuniste Pauline Marois?

  • Les élites intellectuelles ont tendance à se tenir entre elles et à s’entretenir dans leurs convictions (souvent par mépris de ceux qui ne font pas partie de ces soi-disant « élites »), et elles créent ainsi des microsociétés d’opinion, qui leur donnent l’impression que la majorité partage leurs idées. Elles manient aussi habilement le verbe, ce qui leur permet souvent d'arriver à "vendre un frigo à un eskimo", pour reprendre une expression populaire.
    Je sais de quoi je parle, car dans le cadre de mon travail, je fais partie d’un tel cercle… et ce n’est pas reposant…J'essaie d'en sortir le plus possible dans mes temps libres... oufff.
    Si vous souhaitez aller dans l’avenue des complots sur la manipulation des chiffres, vous devriez alors mentionner, pour être « fair play », que le sondage dont vous parlez et qui se montre favorable à la cause étudiante, a été réalisé au niveau national pour le compte des fédérations étudiantes… libre à tous de voir des complots là où ils le souhaitent.

  • Je ne sais pas exactement comment ont été fait les sondages , je puis toutefois vous assurer qu'il sont très représentatif de ce que pense les citoyens.
    Durant la dernière semaine j'au eu à participer à 3 rencontres avec des gens d'univers différents qui regroupaient environ une centaine de personne. Lors de ces rencontres inévitablement les discussions ont aussi portées sur le sujet des droits de scolarité et lors des deux dernières sur le projet de loi 78. Lors de ces 3 rencontres , il y avait une personne contre la hausse des droits de scolarité et une autre personne qui était contre la hausse des frais et contre la loi 78.

Commenter cet article

Vous désirez commenter cet article? Ouvrez une session | Inscrivez-vous

 

Veuillez noter que les commentaires sont modérés et que leur publication est à la discrétion de l'équipe de Cyberpresse. Pour plus d'information, consultez notre nétiquette. Si vous constatez de l'abus, signalez-le.

publicité

publicité

la liste:9856:liste;la boite:1830524:box; Le tpl:300_op-articles-photos.tpl:file;

LE CERCLE LA PRESSE >

Des citoyens sélectionnés pour la pertinence de leurs propos Un groupe de commentateurs citoyens qui profitent d'une vitrine exceptionnelle sur l'accueil du site web. Les membres sont sélectionnés par la salle de rédaction pour la pertinence de leur propos, leur expertise, le style et la qualité de leur écriture.

Participez

publicité

Les plus populaires

Tous les plus populaires
sur lapresse.ca
»

publicité

publicité

image title
Fermer