Nous sommes à une semaine du scrutin et vous êtes des dizaines de milliers à fréquenter ce site à tous les jours. La question se pose cependant: les projections telles que les miennes sont-elles fiables?
Avant d'y répondre, vous remarquerez que je n'ai pas de mise à jour des projections ce matin. Les projections d'hier sont encore valides. Il faut dire que nous avons seulement eu un nouveau sondage Research Co qui non seulement avait une très faible taille d'échantillon (601), mais ses chiffres étaient relativement similaires à ceux de Mainstreet.
Ok, les projections. Il y a essentiellement trois éléments à étudier: les sondages, les projections et les simulations.
1. Sondages
Ne vous y trompez pas, peu importe le modèle de projections, ces dernières ne seront précises que dans la mesure où les sondages le seront. Il n'y a pas de miracle. Quiconque prétend le contraire est un menteur ou un idiot.
J'avais déjà consacré un article à la fiabilité des sondages au Canada. En gros: oui les sondages en général fonctionnent. Mais il leur arrive d'être vraiment dans le champ de temps à autre (ce fût surtout le cas entre 2012 et 2013) et leur précision est possiblement moindre qu'espérée. Le graphique ci-dessous vous montre les erreurs moyennes au Québec et les "vraies" marges d'erreur empiriques (à comparer aux marges théoriques données par les sondeurs).
Ce que cela veut dire pour la situation actuelle au Québec est qu'il est quasi impossible de déterminer qui de la CAQ ou du PLQ terminerait premier, mais cela prendrait une erreur monumentale et rare pour que le PQ récolte davantage de votes.
2. Projections
Le Nouveau-Brunswick avait son élection hier et les résultats préliminaires montrent une victoire minoritaire des Conservateurs. Le CBC poll tracker avait cependant qu'il n'y avait que 7.5% de chances que cela arrive. Je sais ce que certains vont dire: ah les sondages avaient torts! En fait non, les résultats sont relativement proches des sondages (et en ligne avec la précision indiquée ci-dessus). Non, le problème semble être venue de la transposition des votes en sièges. N'ayant pas de modèle pour le NB, j'ignore si j'aurais fait mieux que la CBC (je doute que cela aurait fait une grande différence, les provinces des Maritimes sont difficiles à projeter). Tout cela pour dire que les sondages justes ne sont pas suffisants pour avoir des projections justes.
L'une des raisons est que qu'un point ou deux de différence est bien correct pour les sondages (p. ex avoir les Libéraux à 38% mais ils récoltent 39% des votes), mais pas forcément pour les projections. Notre mode de scrutin étant ce qu'il est, chaque point de pourcentage au-dessus des 25% se transforme en plusieurs sièges.
L'autre raison est simplement que chaque comté est sa propre petite élection et parfois les effets et dynamiques locales l'emportent.
Quelle est la précision d'un modèle comme le miens? En moyenne, les projections basées sur les sondages ont le bon gagnant dans environ 80-85% des comtés. Les deux dernières élections que j'ai couvertes (Ontario 2018, CB 2017), ce taux était de 89%. Mais à l'inverse il n'était que de 77% en 2015 au fédéral (pas une bonne année pour moi).
En me basant plutôt sur les pourcentages de l'élection (donc ne mesurant que les erreurs vraiment dues au modèle), c'est entre 85 et 90% des comtés qui sont justes, parfois un peu davantage.
En moyenne les projections basées sur les sondages vont être à environ 3-4 points des résultats finaux. En utilisant les bons pourcentages à l'échelle de la province, cette précision augmente à un peu moins de 3 points en moyenne.
Vous pouvez le voir, les projections marchent en moyenne. Mais espérer "caller" toutes les circonscriptions justes est simplement irréaliste.
3. Simulations
Peut-être plus important que les projections, les simulations nous donnent les chances de gagner. À ce jeu-là, mon modèle fonctionne très bien et représente adéquatement l'incertitude qui existe. Il faut dire que le modèle est calibré.
Le tableau ci-dessous vous montre la performance des probabilités au cours des dernières élections (Québec 2012 et 2014, CB 2013 et 2017, Canada 2015, etc). La colonne de gauche vous montre les chances accordées lors des projections finales tandis que la droite vous indique combien de ces candidats ont vraiment gagné. À remarquer que les candidats projetés avec 100% de chances ont toujours gagné alors qu'aucun candidat avec 0% n'a prouvé mes simulations comme invalides.
Comme vous pouvez le voir, ça fonctionne plutôt bien. Rappelez-vous que j'ai couvert certaines élections où les sondages étaient pas mal faux et ainsi j'ai fait plus d'erreurs. Mais les probabilités ont toujours suivies. La seule qui soit un peu "off" est si le candidat était projeté entre 60 et 80% de chances de gagner. Seulement 64% de ces candidats ont finalement remporté leur siège. C'est un peu plus faible que prévu mais acceptable.
Cela signifie que si dimanche soir votre candidat préféré n'a que 20% de chances de gagner, vous devrez commencer à espérer que les sondages aient sous-estimé ce parti ou que mon modèle soit faux dans ce comté. Mais en moyenne, ce candidat ne gagnera pas.
En conclusion, tant les sondages que mes projections marchent relativement bien. Tant que vous ne vous attendez pas à une précision parfaite, vous ne devirez pas être déçu la semaine prochaine. Je recommenderais cependant de porter votre attention surtout sur les chances de gagner et peut-être moins sur les pourcentages de voix.
