Post mortem Québec 2018: une élection historique et un échec majeur des sondages

Voilà, les Québécois ont fait leur choix et ont décidé de donner à la CAQ et François Legault une large majorité. Exactement ce que mes projections avaient prévu. Cependant, les sondages ont passé une très mauvaise soirée. Tout comme le nouveau-venu dans le monde des projections, Qc125. Regardons cela rapidement.

1. Sondages

Le tableau ci-dessous vous montre les erreurs moyennes absolues et combien de partis étaient dans les marges d'erreur des sondeurs. En gros tout le monde a sous-estimé la CAQ et surestimé le PLQ.

Research Co. est en fait le meilleur sondage avec seulement 625 observations! Forum arrive deuxième. Mainstreet fait un peu moins bien en manquant le PQ.

Mention spéciale pour Crop qui avait le PLQ à 36% le 17 septembre lol. J'avais critiqué ce sondage et je maintiens mon opinion. Aussi, assez faible qu'une firme Québécoise ne fasse pas de sondage en fin de campagne. Mais enfin.

Ma propre moyenne bat tous les sondages. À remarquer que Qc125, curieusement, réussit l'exploit de faire une moyenne qui se retrouve pire que tous les sondages! Je crois qu'il a malheureusement écouté les mauvais conseils de Claire Durand qui pense que le PLQ est toujours sous-estimé en raison des "discrets" et qu'il faut ainsi répartir ceux-ci (indécis et refus) avec la méthode 50-25-25, soit 50% au PLQ et 25% chacun au PQ et CAQ. J'ai répété à plusieurs reprises que je trouvais cette hypothèse (car c'est bien une hypothèse) stupide dans un context où la CAQ est en tête et le PQ est à moins de 20% et aussi un vote Libéral qui ne sortait pas selon le vote par anticipation. Jean-Marc Léger sur TVA l'expliquait bien: le vote Libéral est sous-estimé quand il y a une "menace" de la souveraineté. Or ce n'était pas le cas cette fois-ci et les anglo sont restés chez eux. Le 50-25-25 marche la moitié du temps mais pour une raison que j'ignore on considère cette règle comme une règle d'or...

Je suis très fier d'avoir anticipé que le PLQ ferait probablement moins bien que les sondages. je me suis fait attaqué sur Twitter par de pseudo scientifiques mais au final j'avais raison! Pourtant j'avais de bonnes raisons de penser cela.

J'avais évoqué à plusieurs reprises que les sondages par comté de Mainstreet n'étaient pas cohérents avec leur sondages provinciaux (pas mal sûr que je suis le seul site à avoir parlé de cela). Je montrais bien que ces sondages par comté avaient la CAQ bien plus élevée et le PLQ bien plus faible. Lors de mes projections finales, j'avais fait un ajustement partiel pour en tenir compte. C'est ainsi que j'ai été celui qui avait la CAQ le plus élevée. J'aurais dû croire ces sondages encore davantage. En faisant un ajustement complet (-3 pt au PLQ, +1.5 à la CAQ), on aurait obtenu de loin la moyenne la plus proche. Et les différences entre sondages provinciaux et par comté étaient encore plus nettes pour les comtés sondés vers la fin. Le PLQ était carrément 4 points en desous et la CAQ 2.5pts au-dessus. Ainsi ils nous montraient bien le résultat de hier soir. Il fallait simplement avoir le courage de faire confiance à ces sondages au lieu des sondages provinciaux. J'ai coupé la poire en deux personnellement.

C'était déjà le cas en Ontario. À l'avenir je vais ainsi ajuster davantage avec ces sondages Mainstreet.

Est-ce la pire performance des sondeurs? Non! Si on fait l'erreur quadratique moyenne (MSE en anglais), on obtient 13.5. Plus c'est élevé et plus c'est mauvais. En Alberta en 2012, cette MSE avait été de plus de 39! (le Parti Conservateur était carrément sous-estimé de 10 points!). La CB en 2013 était aussi pire. Mais c'est la pire au Québec, bien pire que 2012 (MSE de 8.6). Donc une mauvaise soirée mais pas la pire à vie.

2. Projections

Tel que mentionné plus haut, j'étais le plus proche entre pour la CAQ parmi les trois principaux sites (CBC/308, Qc125 et moi). Mon erreur moyenne en sièges est de 4.5 sièges, comparé à 7.3 pour Qc125 (qui a des fractions de sièges, ce que je trouve un peu bizarre même si je comprends la logique et 4 pour CBC (qui avait QS à 10 sièges, bravo).

J'ai aussi correctement prédis 109 comtés sur 125, soit la même performance qu'en 2014! Amusant.

Bien sûr il nous faudrait comparer avec les vrais pourcentages. Le problème ici c'est que j'utilise en partie les sondages par régions. Ainsi, devrais-je utiliser les vrais % par région? Dur à dire. Si je conserve mes ajustements régionaux mais j'utilise les pourcentages à l'échelle de la province, j'aurais eu 80 CAQ, 34 PLQ,4 PQ et 7 QS, pour une erreur moyenne de 4 (et 16 erreurs au niveau des comtés également). Mais mes ajustements par régions aident probablement trop la CAQ. Si je les retire dans le reste du Québec, j'aurais 78 CAQ, 35 PLQ, 5 PQ et 7 QS.

J'ai manqué 3 sièges QS (Rouyn, Sherbrooke et Jean-Lesage). Dans tous les trois j'avais que QS était proche et avaient des chances. Mais QS est toujours bon pour gagner davantage de sièges que prévu grâce à leur travail de terrain. Je ne m'en veux pas trop de les avoir manqué, c'est la vie.

Je vous remercie de m'avoir suivi, ce fût le meilleur mois à vie sur mon blogue en terme de traffic, meilleur que quand j'avais le soutient du Journal de Montréal! Votre participation dans les commentaires a été très appréciée. Je vais prendre une petite pause là car c'est crevant une élection. Et je reviendrai bientôt pour l'élection fédérale (et le référendum en CB dans quelques semaines en fait). Merci!