Suivez-moi sur Twitter @2closetocall
Hier, nous avons eu deux nouveaux sondages. Un de Léger publié dans Le Devoir et la mise à jour quotidienne de Mainstreet (réservé aux abonnés). La principale différence entre eux? Léger avait QS à seulement 8% (et en baisse par rapport au précédent sondage) alors que Mainstreet voit la formation de gauche à 13.7% (et en progression).
Cela semble un peu bizarre? Pouvons-nous expliquer les différences avec les marges d'erreur? C'est l'objet de cet article.
Note: cet article n'a pas pour but de déterminer quelle firme a raison. C'est impossible puisqu'il nous faudrait une élection!
Pour ceux qui ne veulent pas lire un long article plutôt technique, voici la conclusion:
- Les différents sondages ne s'entendent pas sur le score de Québec Solidaire. Les sondages en ligne ont tendance à placer ce parti bien plus bas que les sondages faits par appels automatisés. Pourquoi? Je l'ignore? Qui a raison? J'ai déjà dit qu'on ne pouvait pas savoir.
La différence entre Léger et Mainstreet a même généré hier sur Twitter quelques commentaires de la part du président de Mainstreet:
I can accept having .@QuebecSolidaire at 8% overall but 8% among those 18-34 is simply inexplicable. That's almost half the next closest poll. Our tracking has QS at 14% & leading among those under 35 with 26%, how do you explain this glaring discrepancy?#qc2018 #qcpoli https://t.co/NFkaYqCwOV— Quito Maggi (@quito_maggi) August 29, 2018
ou du vice-président de cette firme:
Impossible que QS est a 8% ou meme 9.7%, et jamais a 8% parmi les moins de 35 ans. Au contraire nos sondages quotidiens nous montre une croissance regulier pour QS depuis quelques jours.https://t.co/a6xZ93m0yL https://t.co/S03TzepyOe— Steve Pinkus (@StevePinkus1) August 30, 2018
Ok donc regardons cela de plus près. Remarquez qu'ils parlent aussi de l'énorme différence auprès des 18-34 ans mais je vais l'ignorer pour l'instant (les tailles d'échantillons sont vraiment faires pour ce groupe. Je recommande cet article de Prime à l'urne qui se penche sur la question).
Premièrement, il est important de s'entendre sur la différence entre les deux firmes. Les chiffres ci-dessus sont ceux après répartition proportionnelle des indécis. Or Léger a 15% d'indécis (indécis ou refus de répondre; je ne compte pas ceux qui disent ne pas voter) alors que Mainstreet n'en a que 4.4% (je compare ici les deux sondages après la question de relance dans laquelle les indécis se font demandés s'ils penchent pour un parti; ces 15% d'indécis chez Léger le sont donc complètement, même après la relance). On voit déjà une différence ici, probablement due à la méthodologie employée. Les sondages en ligne (comme le Léger) ont tendance à avoir davantage d'indécis que les sondages par appels automatisés comme ceux de Mainstreet.
Si l'on regarde le score de QS avant répartition, ce parti est à 13.1% chez Mainstreet et 6% chez Léger! C'est moins de la moitié! C'est une différence énorme. Et je crois que ce sont ces chiffres ici qui devraient nous intéresser, pas ceux après répartition des indécis (car il s'agît d'une hypothèse, il n'y a pas forcément de raison de penser que les indécis voteront comment les électeurs décidés. Or c'est exactement l'hypothèse faite). Je vais faire les calculs avant et après redistribution, juste pour être sûr.
Est-ce une différence statistiquement significative? Utilisons l'outil sur mon site pour y répondre (note: le Léger a 1010 observations, le Mainstreet 2655). La réponse est oui, une différence de 7.1 points est largement significative. Dans les faits, étant données les tailles d'échantillons et le score de QS dans ces sondages, toute différence supérieure à 1.9 points est significative. Si vous préférez les chiffres après répartition, la différence de 5.7% (13.7 vs 8) est super significative aussi (toute différence supérieure à 2.7% est significative.
Ok, donc ces deux sondages ont possiblement été malchanceux dans leur échantillonnages. Un a obtenu un échantillon avec davantage de Solidaires par exemple. Mais quelles sont les chances que cela arrive?
J'ai fait 2x10,000 simulations avec les deux tailles d'échantillons. Je suis parti du principe que le vrai score de QS était exactement entre les deux estimations de Léger et Mainstreet (9.55% avant répartition, 10.85% après).
Combien de fois, sur 20,000 simulations, ai-je obtenu les résultats de ces deux firmes? Zéro! Pour les simulations avec la taille d'échantillon de Léger, sur 10,000 simulations, le plus bas score de Québec Solidaire avant répartition était 6.3%, donc davantage que 6%. Soyons bien clairs ici sur ce que cela signifie: si Québec Solidaire était vraiment à 9.5% dans la population (donc son vrai niveau) et que vous preniez 10,000 échantillons aléatoires de cette population (chaque échantillon ayant 1010 observations), il n'y aurait pas un seul échantillon où QS serait si bas. Du moins ce n'est pas arrivé pour mes simulations. Similairement, si QS était à 9.55% et que vous preniez 10,000 échantillons de 2655 observations, le plus haut score serait de 11.6%!
En utilisant plutôt les chiffres après répartition, j'ai que 53 simulations sur 10,000 ont QS à 8% ou moins, soit 0.05%! Et j'ai obtenu une seule simulation où QS était à 13.7% ou plus. Donc techniquement possible mais vraiment, vraiment peu probable.
Certains d'entre vous seront septiques. Mais rappelez-vous que si un parti est à 9.5% et que l'échantillon est de 1010 observations, la marge d'erreur est de 1.8%, donc très faible (et encore plus faible pour la taille chez Mainstreet). Avoir un échantillon où ce parti se retrouve plus de 3 points au-dessus (Mainstreet) ou 3.55 points en-dessous est très, très improbable.
Qu'est-ce cela veut dire? En gros, l'une de ces firmes a tort. Il est juste trop improbable que ces deux firmes aient simplement été malchanceuses et que faire la moyenne entre les deux soit valide.
Heureusement pour nous, nous avons d'autres sondages! Ipsos a QS à 8% (toujours avant répartition), Crop à 8 aussi et Forum à plus de 12%. Cela ne semble pas aider mais on commence à voir une tendance. Les sondages IVR (appels automatisés) de Forum et Mainstreet ont QS à 12-13% alors que les sondages en ligne (Crop, Léger et Ipsos - note: Ipsos est 2/3 en ligne et 1/3 via appels téléphoniques non automatisés) ont ce parti à 6-8%.
Et puisque les sondages en ligne ont davantage d'indécis, une fois ceux-ci répartis, les estimations de QS semblent un peu plus proches les unes des autres (Crop avait QS à 10%, Ipsos 11%, Forum 13%), bien que le 8% de Léger continue d'être très bas et un possible outlier en bon français. Après répartition, la moyenne des sondages IVR nous donne QS à 13.4% et la moyenne en ligne 9.7%. Si j'exclus le Léger nous obtenons 13.4% vs 10.5%. La différence persiste mais est atténuée.
Et voilà que je commense à avoir des cauchemards. Lors de l'élection Ontarienne cet été. les sondages IVR ne s'entendaient pas avec les sondages en ligne. Au final les sondages IVR sont ceux qui ont eu raison. Mais je déteste cette situation car je ne peux pas savoir à priori. Ou je prends ma chance et j'y vais avec une ou l'autre méthode, ou je fais la moyenne (tout en sachant que ce n'est surement pas valide ici). Au moins les deux méthodes semblent surtout diverger pour le score de QS et pas des autres partis (mise à jour: ceci n'est pas complètement vrai. Mainstreet a aussi le PLQ bien plus faible -genre vers les 27%). Il n'empêche que ce n'est de loin pas optimal.
Et vous, qui croyez-vous? QS à 12-13% ou bien plus bas?
