Interpréter les sondages : les différents pièges

Dans mon dernier article, vous avez vu les bases minimales requises pour comprendre le fonctionnement interne du sondage. Évidemment, je vous ai évité le plus complexe, c’est-à-dire le fondement mathématique de la chose, ce qui rend nécessairement cette introduction déficiente. Or somme toute, les mathématiques qui sont au fondement du sondage ne sont pas très complexes, si vous avez suivi un cours de statistiques au Cégep, révisez vos notes de cours et vous vous en sortirez. Maintenant vient le plus intéressant pour l’observateur de la politique québécoise : comment doit-on interpréter les sondages politiques ? Il n’y a pas de méthode particulière pour le faire, cependant nombreux sont les pièges et raccourcis à éviter, ce que malheureusement peu de journalistes prennent la peine de faire.

Premier piège : les marges d’erreurs

La plus part d’entre vous savez ce qu’est une marge d’erreur, vous comprenez assez bien le concept, mais malheureusement vous l’utilisez mal. La plus part d’entre vous savent déjà que, si par exemple le parti X obtient 30 % dans un sondage de + ou – 3% de marge d’erreur, le « Vrai chiffre » est entre 27 et 33. Il faut toujours tenter de voir les chiffres divulgués par les sondages comme étant le milieu d’une fourchette à trois doigts : le doigt du chiffre donnée par le sondage, le doigt supérieur de la marge d’erreur et le doigt inférieur. Nous savons qu’avec 95 % d’intervale de confiance, le résultat du parti X a 95 % des chances d’être à l’intérieur des marges d’erreur indiquées, donc entre 27 % et 33 %.

Ceci étant dit, il faut bien réaliser que deux partis situés dans la même marge d’erreur sont théoriquement à égalité, même si le chiffre nominal de l’un des deux est plus élevé que l’autre. Reprenons notre parti X à 30 % et ajoutons le parti Y à 29 %. Ici le parti X n’est que virtuellement plus élevé que le parti Y, sa fourchette de marge d’erreur n’étant plus élevé que d’un seul point. Leurs fourchettes de marge d’erreur respectives se chevauchent dans leur presque totalité et de toute manière, tant et aussi longtemps que les fourchettes de marge d’erreur se chevauchent les partis sont statistiquement à égalité. Ceci étant, si après plusieurs sondages nous donnant un résultat similaire, on peut tout de même considérer que les probabilités sont plus grandes pour que le parti en avance le soit effectivement, mais toujours avec beaucoup de réserve.

Un autre élément important des marges d’erreur, probablement le plus important d’ailleurs, est pourtant aussi l’élément le plus négligé dans les analyses des sondages : les marges d’erreurs s’appliquent aussi d’un sondage à l’autre! Si par exemple le 30 mai un sondage place le parti X à 30 % et que le 5 juin un autre sondage le place à 32 %, on ne peut pas dire que le parti à fait des gains parce que les deux résultats sont dans la même fourchette de marge d’erreur. Pour vous aider à visualiser la chose j’ai fait le petit dessin suivant :

Nous voyons ici l’évolution de l’intention de vote d’un Parti X selon 5 sondages. Toutes les fourchettes se chevauchent d’un sondage à l’autre. Ainsi, si on ne prend que les sondages 1 et 2 (seule information que nous aurions si nous étions dans la réalité et que les sondages suivants n’avaient pas encore été réalisés) nous ne pourrions pas conclure que le Parti X a fait des gains. Nous voyons à partir du sondage 3 que le parti entame une percée, mais si nous ne prenons que les sondages 3 et 4, nous ne pouvons pas affirmer que le parti fait des gains, même chose si nous ne prenons que les sondages 4 et 5 ou 5 et 6. En clair, il faut plusieurs sondages pour pouvoir affirmer qu’un parti gagne des points lorsque l’on voit, comme ici, que d’un sondage à l’autre le parti est toujours dans les mêmes marges d’erreur que dans le sondage précédant, mais que sur le long terme il y a une progression.

Deuxième piège : les indécis

De manière générale, dans les sondages publiés dans les journaux, les indécis ont déjà été répartis par la firme de sondage. Les firmes répartissent le plus souvent les indécis en les distribuant proportionnellement aux résultats bruts du sondage parce qu’ils font l’hypothèse que le hasard, qui en mathématique tend à répartir les choses dans leur égalité relative, fera en sorte que c’est mathématiquement la manière dont les indécis se répartiront de toute manière. Or, tel n’est pas nécessairement le cas. On note depuis longtemps au Québec un phénomène que l’on a appelé « la prime à l’urne » qui désigne simplement le fait que le Parti libéral du Québec obtient presque toujours des résultats électoraux légèrement supérieurs à ce que prédisent les sondages. Les analystes libéraux ont tendance à voir le phénomène de manière un peu romantique, ils pensent que le phénomène s’explique par le fait qu’une fois dans l’urne, certains électeurs devant le choix imminant sont « ramenés à la raison » et votent donc libéral. Évidemment, cette vision peut bien leur faire plaisir, mais elle est probablement loin de la réalité. En fait, la clef de ce phénomène se situe dans les indécis : on note que de manière générale, lorsque le pourcentage d’indécis dans un sondage est plus faible que la moyenne, le PLQ obtient une résultat plus élevé dans ce sondage. Comme le montre le dessin suivant où la ligne rouge représente l’évolution de l’intention de vote du PLQ et la ligne verte celle des indécis dans les mêmes sondages fictifs.

En clair, il faut comprendre que la catégorie « indécis » ne regroupe pas seulement les véritables indécis mais aussi des gens qui ne veulent pas dire au téléphone pour qui ils pensent voter. Il apparaît alors que dire « je suis indécis » permet à la personne interviewé d’avoir l’air de collaborer (en ne refusant pas de répondre) tout en préservant sa réponse personnelle. On note également qu’un nombre significatif de ces personnes votent pour le PLQ ce qui explique le phénomène. En ce sens, la prime à l’urne ne s’expliquerait pas tant par la réalité de l’urne qui « ramène à la raison » que par une gêne de certains répondants libéraux à dire aux sondeurs qu’ils votent pour le PLQ. Pierre Drouilly, professeur de sciences politique à l’Université du Québec à Montréal, préfère utiliser le terme « discrets » au lieu « d’indécis » pour désigner cette catégorie. Également, j’ajouterais qu’avec l’arrivée de plus petits partis politique ayant une visibilité médiatique assez grande pour être connus de la population comme le Parti vert et Québec solidaire, il est fort probable que les sondages actuels et futurs surévaluent leurs appuis en raison de ce phénomène, surtout en ce qui a trait au Parti vert. En effet, je crois qu’il est fort probable qu’un nombre significatif de répondants aux sondages, au lieu de se dire indécis, affirmeront avoir l’intention de voter pour un de ces petits partis, principalement le Parti vert, afin de garder pour eux leur véritable réponse et ce pare que ces partis ne font face à aucune opposition significative, étant trop peu importants pour en avoir une, en ce sens affirmer vouloir voter pour eux ne constitue donc pas en soi une prise de position contestée socialement. La chose reste cependant à vérifier et ne réfère qu’à mon intuition personnelle.

Troisième piège : les campagnes électorales « scénarisées »

En se prenant de plein fouet dans le premier piège, plusieurs médias, voir tous, ont aussi tendance à analyser les campagnes électorales en induisant à partir des sondages du mouvement de « l’opinion publique » là où les sondages ne peuvent en aucun cas affirmer qu’il y en a. Par exemple, un analyste qui affirme que la dernière déclaration d’importance d’un chef de parti X lui a fait gagner des points parce que dans le sondage le plus récent son parti obtient 2 points de plus que dans le sondage précédant. Nous avons vus que cela est faux au piège 1. Cette attitude des journalistes tend évidemment à rendre la campagne plus intéressante en lui injectant des rebondissements dramatiques, mais elle donne au public une information erronée. Ce d’autant plus que, même si un parti X faisait réellement des gains, rien ne nous permettrait de dire que ces gains sont causés par telle déclaration ou par tel événement. Des milliers de causes peuvent expliquer du mouvement dans l’intention de vote, les journalistes en « scénarisant » de la sorte les campagnes électorales ne retiennent que les causes qui rendent la campagne simple à comprendre et plus intéressante pour les auditeurs, lecteurs et téléspectateurs.

Par ailleurs, en faisant cela, ils détournent l’attention publique des véritables enjeux politiques en ne parlant pas des différentes prises de positions partisanes et ce au profit d’une analyse bidon du jeu politique. On se retrouve donc avec des journalistes qui, au lieu d’expliquer aux électeurs les différents choix qui s’offrent eux, analysent devant ces électeurs même ce qui se passe dans leur tête d’électeur via la multitude dans laquelle ils sont parti intégrante. En clair, les sondages politiques ont leur intérêt dans une campagne électorale, mais ils ne doivent jamais devenir le centre de celle-ci, l’information qu’ils fournissent étant bien trop limitée.

Voilà pour ce deuxième article explicatif sur les sondages d’intention de vote. Je pense actuellement que dans mon prochain article sur ce thème je vous ferai un petite critique des sondages. En attendant, si vous désirez lire tout de suite une critique, je vous invites à consulter l’article théorique que j’ai déposé dans la section « Approfondir ».

Si vous avez des questions, ne vous gênez surtout pas, il me fera un plaisir d’y répondre. Vos commentaires sont également toujours les bienvenus.

La technique du sondage : une introduction

Pour bien analyser les sondages d’opinion, il faut absolument avoir une compréhension minimale de ce qu’est un sondage sans quoi on fini rapidement par faire dire aux sondages ce qu’ils ne peuvent pas dire, ce à l’image de nombreux journalistes politique. Je me propose donc ici de vous expliquer ce qu’est un sondage et comment il faut le comprendre. Je vais tenter de rendre la chose le plus simple possible en évitant de parler trop des mathématiques, mais ce sera tout de même inévitable.

Qu’est-ce qu’un sondage ?

Le principe du sondage est extrêmement simple, quand vous faites une scause à spaghetti par exemple, et que vous désirez savoir si elle est bonne, s’il y a assez de sel, assez de poivre… vous prenez une cuillère et vous goûtez, pas besoin d’ingurgiter tout d’un coup le chaudron au complet pour se faire une idée! Le principe du sondage est le même, si l’élection comme telle consiste à faire voter tout le monde (ou en tout cas ceux qui veulent bien le faire) le sondage consiste à prendre un « échantillon » de la population en faisant l’hypothèse que cet échantillon nous donnera une bonne image de l’ensemble cette population.

Or, à l’image d’une sauce à spaghetti, une population est composée de plusieurs éléments qui doivent se retrouver dans notre échantillon de manière proportionnelle pour que l’échantillon soit représentatif de l’ensemble. Si par exemple vous goûtiez votre sauce sans d’abord la brasser un peu, vous risqueriez de laisser toute la viande dans le fond et de n’avoir dans votre cuillère que le jus, ce qui vous donnerait une image erronée de la totalité de votre chaudron. Même chose pour un sondage. Mais jusqu’ici, la plus part d’entre vous comprenez bien cela, au Québec par exemple nous tentons d’avoir 50 % d’hommes, 50 % de femmes, 82 % de francophones et 18 % d’anglophones dans nos sondages parce que ce sont les proportions dans lesquelles ont retrouve ces groupes dans notre société. Mais remarquez aussi que ces catégories, si elles nous apparaissent évidentes, ne le sont pas nécessairement d’emblée. Le fait est qu’il y a des milliers de catégories de gens, que pour les sondages politiques nous considérons que le sexe et la langue sont des facteurs structurants, mais tel pourrait ne pas être le cas. Mais ceci nous mènerait sur un chemin beaucoup trop compliqué et je veux demeurer simple, passons donc au point suivant.

La taille de l’échantillon

Donc nous avons les bases structurantes pour notre échantillon représentatif, c’est à dire que nous avons déterminé les éléments qui doivent se retrouver dans notre échantillon et dans quelles proportion ceux-ci doivent y être les uns par rapport aux autres. Maintenant, de quelle taille doit être notre échantillon ? Prendrons-nous 1, 2 ou 3 bouchées pour goûter notre sauce et s’en faire une idée? Ici, inévitablement on arrive à un peu de mathématiques, mais je vous les éviterai autant que possible. Ici entrent en jeu les notions de « marge d’erreur » et « d’intervalle de confiance ». Vous êtes probablement plus familier avec la notion de marge d’erreur, vous savez certainement que si nous avons une marge d’erreur de 5 % il faut interpréter le résultat d’un parti comme si il était à plus ou moins 5 % du score que le sondage lui donne. Par exemple, le parti X obtient 30 % des intentions de vote, alors en fonction de la marge d’erreur on sait que le chiffre réel est entre 25 % et 35 %. Cela vous le savez généralement bien mais vous l’interprétez mal, nous verrons dans un prochain article le problème de l’interprétation.

Maintenant parlons de l’intervalle de confiance. Dans les sondages politiques, nous travaillons généralement avec une intervalle de confiance de 95 % (c’est le fameux 19 fois sur 20 : 19/20 = 95 %) et ce simplement parce que si on veut travailler avec un peu de sérieux, on se dit avec raison qu’il faut que notre base de travail, c’est-à-dire le sondage, soit minimalement fiable et on considère que 95% de fiabilité est une base raisonnable. Je vous évite ici toutes les lois mathématiques qui expliquent ce 95 % d’intervalle de confiance et me concentre sur ce qui est important pour vous. Ce que signifie ce 95 %, c’est simplement qu’il y a 95 % des probabilité pour que notre sondage soit juste, c’est-à-dire que le résultat réel (c’est-à-dire si on demandait à tou le monde leur intention de vote au lieu de seulement quelque uns) se situe à l’intérieur des marges d’erreur indiquées. En d’autres mots, 19 sondages sur 20 sont bons et 1 sur 20 (soit 5%) ne sont pas bons. C’est là une loi mathématique de probabilité statistique.

Maintenant, puisque nous désirons travailler avec un intervalle de confiance de 95 %, c’est-à-dire avoir un sondage fiable à 95 % des chances (toujours en fonction des marges d’erreur), il faut déterminer cette fameuse marge d’erreur que nous souhaitons avoir. Plus une marge d’erreur est petite, plus le sondage est précis. Attention ici, les journalistes font souvent l’erreur de confonde la fiabilité d’un sondage à la grosseur de sa marge d’erreur, cela n’a rien à voir! La marge d’erreur c’est simplement le degré de précision du sondage, la fiabilité de celui-ci tient à son intervalle de confiance dont on a déterminé que 95 % était la base raisonnable. Un sondage qui a une marge d’erreur de 10 % est aussi « fiable » qu’un sondage ayant une marge d’erreur de 3 %, le sondage de 10 % est simplement moins précis que celui de 3 %. Donc, il nous faut choisir la marge d’erreur que nous considérons appropriée.

Quand vous désirez tester votre sauce à spaghetti, vous brasser le chaudron et vous considérer généralement qu’une bouchée convient parfaitement pour « vous faire une idée ». Si on ne souhaite qu’avoir une idée « grosso modo », on peut se contenter d’un sondage avec une marge d’erreur plus grande, si par contre on a besoin de plus de précision, alors il faut opter pour une marge d’erreur plus petite. Il faut aussi comprendre que la marge d’erreur est liée au nombre de personnes que l’on interroge : plus notre échantillon est gros, plus la marge d’erreur sera petite. En même temps, un gros échantillon coûte très cher! C’est beaucoup plus rapide d’interroger au téléphone 250 personnes que d’en interroger 15 000, cela est bien évident. Par ailleurs, la marge d’erreur n’est pas directement proportionnelle au nombre de personne interrogées : Par exemple, au Québec si on interroge 1000 personnes on a une marge d’erreur de + ou – 3,1 %. Or, si on désirait baisser de moitié notre marge d’erreur et la faire baisser à 1,5 %, il ne suffirait pas de doubler notre échantillon en le faisant passer à 2000 répondants, pour le faire nous devrions interroger près de 4000 personnes, c’est mathématique. Dans cet exemple, pour diminuer de moitié la marge d’erreur, il faut interroger près de 4 fois plus de personnes, ce qui fait que le sondage coûte aussi 4 fois plus cher à réaliser! Dans les sondages d’intention de vote, on choisit généralement une marge d’erreur de 3,1 %, qui constitue le meilleur équilibre entre le coût du sondage et sa précision. Et pour avoir une marge d’erreur de 3,1 %, il nous faut interroger environ 1000 personnes, ce qui fait qu’un sondage politique, dépendemment du nombre de question qu’il contient (ce qui affecte le temps nécessaire à la réalisation d’une entrevue téléphonique) coûte entre 40 000 $ et 60 000 $, voir davantage. C’est pour cela que les médias qui ne se font pas compétition entre eux s’associent pour répartir les coûts d’un sondage : Le journal de Montréal et TVA, La presse et Radio-Canada par exemple.

Un sondage de 1000 répondants a aussi l’avantage de pouvoir être réalisé rapidement, en général un centre d’appel peut aisément compléter 500 entrevues téléphoniques en une soirée d’environ 4 ou 5 heures. En ce sens, les firmes de sondages peuvent généralement livrer la marchandise en 2 jours. Pourquoi ne pas travailler 8 heures et finir la collecte de données en une seule journée ? Parce que les gens travaillent le jour et ne sont pas chez eux, ce qui fait qu’avant 17 heures on rejoint surtout les retraités et qu’un sondage bourré de retraités ne serait pas représentatif.

C’étaient là les bases minimales pour comprendre la technique du sondage, dans le prochain article je vous expliquerai comment il faut comprendre les résultats. Ne vous gênez surtout pas si vous avez des questions, il me fera un plaisir de vous répondre.