La technique du sondage : une introduction

Pour bien analyser les sondages d’opinion, il faut absolument avoir une compréhension minimale de ce qu’est un sondage sans quoi on fini rapidement par faire dire aux sondages ce qu’ils ne peuvent pas dire, ce à l’image de nombreux journalistes politique. Je me propose donc ici de vous expliquer ce qu’est un sondage et comment il faut le comprendre. Je vais tenter de rendre la chose le plus simple possible en évitant de parler trop des mathématiques, mais ce sera tout de même inévitable.

Qu’est-ce qu’un sondage ?

Le principe du sondage est extrêmement simple, quand vous faites une scause à spaghetti par exemple, et que vous désirez savoir si elle est bonne, s’il y a assez de sel, assez de poivre… vous prenez une cuillère et vous goûtez, pas besoin d’ingurgiter tout d’un coup le chaudron au complet pour se faire une idée! Le principe du sondage est le même, si l’élection comme telle consiste à faire voter tout le monde (ou en tout cas ceux qui veulent bien le faire) le sondage consiste à prendre un « échantillon » de la population en faisant l’hypothèse que cet échantillon nous donnera une bonne image de l’ensemble cette population.

Or, à l’image d’une sauce à spaghetti, une population est composée de plusieurs éléments qui doivent se retrouver dans notre échantillon de manière proportionnelle pour que l’échantillon soit représentatif de l’ensemble. Si par exemple vous goûtiez votre sauce sans d’abord la brasser un peu, vous risqueriez de laisser toute la viande dans le fond et de n’avoir dans votre cuillère que le jus, ce qui vous donnerait une image erronée de la totalité de votre chaudron. Même chose pour un sondage. Mais jusqu’ici, la plus part d’entre vous comprenez bien cela, au Québec par exemple nous tentons d’avoir 50 % d’hommes, 50 % de femmes, 82 % de francophones et 18 % d’anglophones dans nos sondages parce que ce sont les proportions dans lesquelles ont retrouve ces groupes dans notre société. Mais remarquez aussi que ces catégories, si elles nous apparaissent évidentes, ne le sont pas nécessairement d’emblée. Le fait est qu’il y a des milliers de catégories de gens, que pour les sondages politiques nous considérons que le sexe et la langue sont des facteurs structurants, mais tel pourrait ne pas être le cas. Mais ceci nous mènerait sur un chemin beaucoup trop compliqué et je veux demeurer simple, passons donc au point suivant.

La taille de l’échantillon

Donc nous avons les bases structurantes pour notre échantillon représentatif, c’est à dire que nous avons déterminé les éléments qui doivent se retrouver dans notre échantillon et dans quelles proportion ceux-ci doivent y être les uns par rapport aux autres. Maintenant, de quelle taille doit être notre échantillon ? Prendrons-nous 1, 2 ou 3 bouchées pour goûter notre sauce et s’en faire une idée? Ici, inévitablement on arrive à un peu de mathématiques, mais je vous les éviterai autant que possible. Ici entrent en jeu les notions de « marge d’erreur » et « d’intervalle de confiance ». Vous êtes probablement plus familier avec la notion de marge d’erreur, vous savez certainement que si nous avons une marge d’erreur de 5 % il faut interpréter le résultat d’un parti comme si il était à plus ou moins 5 % du score que le sondage lui donne. Par exemple, le parti X obtient 30 % des intentions de vote, alors en fonction de la marge d’erreur on sait que le chiffre réel est entre 25 % et 35 %. Cela vous le savez généralement bien mais vous l’interprétez mal, nous verrons dans un prochain article le problème de l’interprétation.

Maintenant parlons de l’intervalle de confiance. Dans les sondages politiques, nous travaillons généralement avec une intervalle de confiance de 95 % (c’est le fameux 19 fois sur 20 : 19/20 = 95 %) et ce simplement parce que si on veut travailler avec un peu de sérieux, on se dit avec raison qu’il faut que notre base de travail, c’est-à-dire le sondage, soit minimalement fiable et on considère que 95% de fiabilité est une base raisonnable. Je vous évite ici toutes les lois mathématiques qui expliquent ce 95 % d’intervalle de confiance et me concentre sur ce qui est important pour vous. Ce que signifie ce 95 %, c’est simplement qu’il y a 95 % des probabilité pour que notre sondage soit juste, c’est-à-dire que le résultat réel (c’est-à-dire si on demandait à tou le monde leur intention de vote au lieu de seulement quelque uns) se situe à l’intérieur des marges d’erreur indiquées. En d’autres mots, 19 sondages sur 20 sont bons et 1 sur 20 (soit 5%) ne sont pas bons. C’est là une loi mathématique de probabilité statistique.

Maintenant, puisque nous désirons travailler avec un intervalle de confiance de 95 %, c’est-à-dire avoir un sondage fiable à 95 % des chances (toujours en fonction des marges d’erreur), il faut déterminer cette fameuse marge d’erreur que nous souhaitons avoir. Plus une marge d’erreur est petite, plus le sondage est précis. Attention ici, les journalistes font souvent l’erreur de confonde la fiabilité d’un sondage à la grosseur de sa marge d’erreur, cela n’a rien à voir! La marge d’erreur c’est simplement le degré de précision du sondage, la fiabilité de celui-ci tient à son intervalle de confiance dont on a déterminé que 95 % était la base raisonnable. Un sondage qui a une marge d’erreur de 10 % est aussi « fiable » qu’un sondage ayant une marge d’erreur de 3 %, le sondage de 10 % est simplement moins précis que celui de 3 %. Donc, il nous faut choisir la marge d’erreur que nous considérons appropriée.

Quand vous désirez tester votre sauce à spaghetti, vous brasser le chaudron et vous considérer généralement qu’une bouchée convient parfaitement pour « vous faire une idée ». Si on ne souhaite qu’avoir une idée « grosso modo », on peut se contenter d’un sondage avec une marge d’erreur plus grande, si par contre on a besoin de plus de précision, alors il faut opter pour une marge d’erreur plus petite. Il faut aussi comprendre que la marge d’erreur est liée au nombre de personnes que l’on interroge : plus notre échantillon est gros, plus la marge d’erreur sera petite. En même temps, un gros échantillon coûte très cher! C’est beaucoup plus rapide d’interroger au téléphone 250 personnes que d’en interroger 15 000, cela est bien évident. Par ailleurs, la marge d’erreur n’est pas directement proportionnelle au nombre de personne interrogées : Par exemple, au Québec si on interroge 1000 personnes on a une marge d’erreur de + ou – 3,1 %. Or, si on désirait baisser de moitié notre marge d’erreur et la faire baisser à 1,5 %, il ne suffirait pas de doubler notre échantillon en le faisant passer à 2000 répondants, pour le faire nous devrions interroger près de 4000 personnes, c’est mathématique. Dans cet exemple, pour diminuer de moitié la marge d’erreur, il faut interroger près de 4 fois plus de personnes, ce qui fait que le sondage coûte aussi 4 fois plus cher à réaliser! Dans les sondages d’intention de vote, on choisit généralement une marge d’erreur de 3,1 %, qui constitue le meilleur équilibre entre le coût du sondage et sa précision. Et pour avoir une marge d’erreur de 3,1 %, il nous faut interroger environ 1000 personnes, ce qui fait qu’un sondage politique, dépendemment du nombre de question qu’il contient (ce qui affecte le temps nécessaire à la réalisation d’une entrevue téléphonique) coûte entre 40 000 $ et 60 000 $, voir davantage. C’est pour cela que les médias qui ne se font pas compétition entre eux s’associent pour répartir les coûts d’un sondage : Le journal de Montréal et TVA, La presse et Radio-Canada par exemple.

Un sondage de 1000 répondants a aussi l’avantage de pouvoir être réalisé rapidement, en général un centre d’appel peut aisément compléter 500 entrevues téléphoniques en une soirée d’environ 4 ou 5 heures. En ce sens, les firmes de sondages peuvent généralement livrer la marchandise en 2 jours. Pourquoi ne pas travailler 8 heures et finir la collecte de données en une seule journée ? Parce que les gens travaillent le jour et ne sont pas chez eux, ce qui fait qu’avant 17 heures on rejoint surtout les retraités et qu’un sondage bourré de retraités ne serait pas représentatif.

C’étaient là les bases minimales pour comprendre la technique du sondage, dans le prochain article je vous expliquerai comment il faut comprendre les résultats. Ne vous gênez surtout pas si vous avez des questions, il me fera un plaisir de vous répondre.

Le sondage Léger-Le Devoir

Hier Le Devoir publiait un sondage produit par Léger-marketing. Vous en avez certaiment entendu parler : ADQ 33 % PQ 30 % PLQ 28 %. Comme moi, vous vous êtes certainement demandé ce qu’un tel résultat donnerait en termes de répartition des sièges à l’Assemblée nationale. Voici ce que mon modèle prévoit : ADQ 51, PQ 39, PLQ 35.

Ceci étant dit, il faut être particulièrement prudent dans l’interprétation de ce sondage, d’autant que les résultats y sont particulièrement serrés. Déjà qu’après la répartition des indécis (seuls chiffres que publie Le Devoir) les résultats sont chaud, on le remarque encore davantage lorsque l’on porte attention aux résultats « bruts » du sondage : ADQ 31 % PQ 27 % PLQ 26 %. Mathématiquement parlant, contrairement à ce que tous les médias ont dit, il n’est pas juste de dire que le Parti libéral est troisième et ce parce qu’il est dans la même marge d’erreur que le PQ, ce même après répartition des indécis qui m’apparaît particulièrement douteuse ici.

Dans un texte que je déposerai ici sous peu, je vous expliquerai très clairement ce en quoi la marge d’erreur consiste et surtout ce qu’elle signifie concrètement. Pour l’instant, comprenez simplement que, la marge d’erreur de ce sondage étant de plus ou moins 3 %, nous pouvons affirmer qu’il y a 95 % des chances que le résultat réel de l’ADQ soit entre 30 % et 36 %, que celui du PQ soit entre 27 % et 33 % et que celui de PLQ soit entre 25 % et 31 %. Notez que j’ai ici utilisé la répartition des indécis telle que faite par Léger-marketing, chose que je compte cesser de faire aussitôt que possible parce que je considère leur méthode imprécise. Ceci étant dit, ce qu’il faut retenir du sondage c’est que le PLQ a chuté dans l’opinion publique, nous pouvons l’affirmer parce qu’il n’est plus dans la marge d’erreur de ses anciens résultats.

Voilà, c’était ma première petite analyse. Je n’ai pas le temps d’en faire davantage pour aujourd’hui. Je termines simplement en vous mentionnant que vous pouvez consulter la méthodologie de mon modèle, aller voir en haut dans la barre de navigation. Notez aussi que je travailles actuellement à l’intégration d’un certain nombre de variables sociologiques afin d’affiner les résultats. Je n’en dit pas plus, si vous désirez faire votre propre modèle travaillez!

Le mot d’ouverture

Un petit message simplement pour souligner la naissance de ce blogue qui, je l’espère, saura capter votre attention. L’été s’annonce particulièrement intéressant pour qui aime garder un oeil sur l’actualité politique québécoise, je vous proposerai donc ici mon regard sur les différents enjeux et sur la joute politique elle-même.

Bien que je ne m’en interdise pas d’emblée la chose, je ne compte pas déposer ici des éditoriaux, c’est-à-dire des textes d’opinions, comme le font déjà de nombreux blogues, parfois de manière intéressante et d’autre fois non. Je comptes davantage axer mes écrits sur l’analyse du jeu politique québécois et ce en ayant recours à diverses méthodes allant de l’analyse du discours jusqu’à l’analyse des sondages.

Par ailleurs, pour ceux d’entre vous qui sont de grands amateurs de sondages politiques, sachez que vous serez ici particulièrement choyé. En tant qu’étudiant en sciences politiques, je me suis en effet amusé à bâtir un modèle de prévision de résultats électoraux, un peu à l’image de ce que fait Democratic space, mais à ma manière bien à moi. Les deux modèles se valent, mais vous comprendrez que je considère le mien plus précis! Également, je comptes déposer ici plusieurs textes qui auront pour but d’expliquer ce qu’est l’activité du sondeur, les limites du sondage politique, démystifier ce qu’il est possible d’en tirer et rendre compréhensible à tous la méthodologie du sondage. Qu’est-ce qu’une marge d’erreur ? comment doit-on la comprendre ? comment répartir les « indécis » dans le contexte québécois ? 19 fois sur 20 ça veut dire quoi ? Et finalement, comment interpréter les sondages politiques. Compte tenu du fait que les médias québécois, à l’image de tous les médias dans le monde, sont particulièrement mauvais dans l’interprétation des sondages politiques, j’espère pouvoir vous fournir les outils essentiels pour bien comprendre ce que nous disent les sondages et arrêter de vous contenter des analyses défaillantes des journalistes.

Je vous souhaite donc la bienvenue sur mon nouveau blogue et espère vous compter parmis mes lecteurs réguliers.