Les élections municipales auront lieu le 5 Novembre. Je n'ai pas encore écrit à ce sujet mais j'ai décidé de faire quelques simulations pour la course entre Denis Coderre, maire sortant et Valérie Plante.

Si vous n'avez pas le temps de lire tout l'article, voici le résumé:

Entre le faible nombre de sondages et le fait que ceux-ci sont loins d'être précis, nous avons une course où tout peut arriver. Il se peut que le résultat soit serré, mais il se peut aussi que l'un de ces deux candidats soit en fait largement devant. Voyez le 48-52 des probabilités comme représentant notre niveau de confiance par rapport à cette élection, pas forcément comme indiquant une course où ils recevront tous les deux environ 50% des voix.

Maintenant, voici comment j'arrive à cette "conclusion". Ou, si vous préférez, comment justifier passer du temps sur un ordinateur quand vous pouvez faire tout aussi bien en utilisant une pièce et pile ou face.

1. Les (rares) sondages

Cette course n'a pas généré beaucoup de sondages, c'est le moins que l'on puisse dire. Dans les faits, les rares sondages ont soient été "leaké" par un camp ou ont été commandé et payé par un site internet (l'excellent Qc125.com). Sérieusement, c'est hallucinant de constater qu'un site web a commandé davantage de sondage que les médias traditionnels! Finalement ce matin. Radio-Canada a décidé de réveiller Crop de son hibernation des sondages et nous avons enfin eu un sondage publié par un média traditionnel.

Non seulement nous n'avons eu que peu de sondages, ces derniers ne sont pas... optimaux disons. Ils ont une très faible taille d'échantillon (500; 1000 ce matin pour Crop, enfin!) et dans le cas du sondage Mainstreet/Qc125, il n'y avait pas de question de relance (probablement en raison du budget). Ce qui fait en sorte qu'il y avait 41% d'indécis! Imaginez bien ce que cela veut dire: il s'agît en fait d'un sondage auprès de 300 personnes. Après, selon comment les autres 200 se répartissent, vous pouvez avoir une course diamétralement opposée. Si vous répartissez les indécis de manière proportionnelle -ce qui est courant- Denis Coderre est au-dessus des 50% avec 9 points d'avance sur Valérie Plante. À l'inverse, si les indécis se rangent chez Plante dans un ordre de grandeur 60-40, alors la candidate de Projet Montréal est élue!

Le plus récent Léger a été commandé par Projet Montréal et leaké par Qc125. Il faut toujours se méfier des sondages commandés par les partis politiques. Non pas que je soupçonne Léger de changer sa méthodologie, mais il y a probablement une raison pour laquelle Projet Montréal a décidé de faire publier ce sondage et pas les autres: ce sondage était le meilleur pour eux!

Au moins le Crop, fait à la même période que le Léger, nous montre une situation très similaire. Je dis "au moins" mais parfois les sondages font tous la même erreur. À remarquer que tant Léger que Crop ont environ 20% d'indécis, ce qui est assez élevé. Crops montre aussi que Coderre est en tête parmi ceux absolument certains de voter.

Le graphique ci-dessous illustre la situation piteuse dans laquelle nous sommes.

Il s'agît des intentions de vote avant répartition des indécis. Le sondage au milieu, de Mainstreet, n'est de loin pas totalement compatible avec les deux Léger.

Étant donné les larges marges d'erreur et les problèmes de compatibilité (41% d'indécis chez Mainstreet... on les répartit comment?), la seule conclusion semble être que la course est potentiellement plus serrée qu'il n'y a quelques mois.

Pour rendre les choses encore pires, les sondages municipaux semblent avoir une précision douteuse historiquement. Il y a 4 ans, les deux sondages faits durant l'élection à Montréal avaient tous les deux largement surestimé Denis Coderre. Cette même année, les sondages avaient fait encore pire dans bien des autres courses (Laval, Lévis). On n'est loin de la précision habituelle des sondages provinciaux. Aussi, la course à Calgary a confirmé il y a quelques semaines que ces sondages sont moins fiables (Mainstreet ne s'est pas encore remis de son échec). La faible participation y est surement pour beaucoup.

Si je me base sur les sondages à Montréal en 2013 et Calgary en 2017, les vraies marges d'erreur (=celles reflétant le niveau de précision réel et pas théorique) semble être vers les 8-10% (et j'exclus ici le sondage Mainstreet à Calgary qui était carrément plus de 20 points dans le champ!).

Pour vous donnez une idée à quel point c'est imprécis, si un parti/candidat est à environ 30%, pour avoir des marges de 10%, il faut un échantillon de... 80 observations!!! Voyez les choses autrement: si un sondage était publié et n'avait que 80 observations, est-ce vous lui accorderiez de l'attention?

Ainsi, pour les simulations (voir plus loin), j'y suis allé avec des marges d'erreur de 9%, soit à peu près le niveau de précision des "bons" sondages à Calgary et un petit peu mieux que les sondages à Montréal en 2013 (il faut dire que les deux seuls sondages avaient été faits bien avant l'élection).

2. Au-delà des sondages

Regardons Google Trends pour le Québec. Au cours des 30 derniers jours, voici les résultats (note: Google ne semble pas savoir que Denis Coderre est maintenant le maire de Montréal et non plus un député à Ottawa. Idem pour les autres candidats. Cela fait en sorte que j'ai décidé de faire une recherche par termes exactes au lieu de par "sujets").

 

La course semble belle et bien serrée. Les deux sont au coude-à-coude. À noter l'absence quasi complète d'un effet du débat le 19 octobre.

Pour comparaison, voici les tendances en 2013 durant le dernier mois avant l'élection:

 

Mélanie Joly générait en fait davantage de recherche que Denis Coderre, ce qui est assez impresionnant. Ce dernier semblait cependant avoir le momemtum vers la fin. Une prédiction basée uniquement sur Google Trends aurait eu tort, mais cela nous aurait au moins permis de prédire que la course était plus serrée que prévue.

Alors, que faire de l'informatio de cette année? Si l'histoire de 2013 se répète, Coderre est dans une position très favorable (il avait gagné alors qu'il était derrière sur Google Trends; Il est devant cette année). Personellement, je vois cela comme une autre indication que la course est imprévisible. à défaut d'être serrée.

3. Simulations

En utilisant la précision moyenne des sondages municipaux et en faisant une moyenne des sondages "récents" (avec répartition semi-proportionnelle et semi-uniforme des ind.cis), voici les chances de gagner et les scénarios possibles.

L'histogramme représente les résultats possibles pour Valérie Plante. Puisqu'il s'agît essentiellement d'une course à deux, le résultat pour Coderre est 100-résultat de Plante. Sa distribution est ainsi quasi similaire, juste centrée un peu plus à gauche (Coderre est centré vers 48.2% alors qu'elle est vers 48.7%).

Remarquez bien qu'une fois redistribués les indécis, les deux candidats sont bien plus élevés que ce que vous avez vu dans les sondages. On peut débattre de comment répartir ces indécis, mais il reste que le jour du vote, il n'y aura pas une option "ne sais pas" sur les bulletins de vote. Ainsi, attendez-vous à ce que le ou la gagant-e soit proche ou au-dessus des 50%.

Aussi, vous pouvez voir l'incroyable incertitude. Denis Coderre est projeté entre 34 et 64%! C'est un peu absurde de faire de telles projections, mais voilà, je travaille avec ce qui est disponible.

Au final, cette course est juste très incertaine. Cela ne veut pas forcément dire qu'elle est serrée, seulement que nous n'avons pas assez d'information pour vraiment projeter un ou ujne favori-e.

Quelques semaines après son éclatante victoire dans la partielle de Louis-Hébert, voici que la CAQ de François Legault se retrouve en tête des intentions de vote dans le dernier sondage Léger. Avec 34%, ce parti devance les Libéraux par 5 points. Le PQ recule à 20 points. À l'heure d'écrire ce billet, je n'ai pas les détails du sondage mais j'ai vu sur Twitter que QS était à 12%.

La dernière fois que la CAQ pointait en tête d'un sondage, c'était en Mai dans un sondage Mainstreet. Mais ce sondage montrait la Coalition en position minoritaire. Le sondage d'aujourd.hui place ce parti en bonne position pour décrocher une majorité.

Les projections, basées uniquement sur ce sondage, sont les suivantes:

Intentions de votes; Projections de sièges avec intervales de confiance; Chances de gagner le plus de sièges

Mise à jour: j'ai oublié de mettre à jour le modèle après la partielle dans Louis-Hébert. Les élections complémentaires ont moins de poids que les générales, mais la victoire CAQ était telle que cela pourrait changer le résultat. Dans les projections ci-dessus, le PLQ remporte Louis-Hébert. Ainsi, après la mise à jour, il se peut que la CAQ soit en fait à 65 sièges.

Peut-être l'élément le plus intéressant de ce sondage est à quel point la CAQ serait favorite. Bien sûr il ne s'agît que d'un sondage. Le Ipsos de la semaine passée continuait de placer le PLQ devant par exemple. Il reste que la carte électorale et la distribution du vote sont tels que le parti de Legault possède une vraie chance de gagner l'année prochaine. Ne vous métrompez pas, je ne dis pas ici que la CAQ est assurée de finir 5 points devant le PLQ. Je dis simplement que le vote CAQ n'est pas concentré à tel point que la carte électorale soient biaisée contre la CAQ. Il reste que si c'était le PQ à 34% et la CAQ à 20%, le PQ gagnerait probablement par davantage de sièges, mais la différence est petite.

La CAQ prend des votes tant au PLQ qu'au PQ, ce n'est pas surprenant. Alors que l'ADQ était perçue comme un parti plus à droite que le PLQ, la CAQ s'est repositionnée dans une situation plus au centre. Pas forcément en termes de politiques -cela dépend, mais d'image. Si ce n'était pas le cas, cela voudrait dire que la gauche au Québec ne représenterait que 32% des votes (PQ+QS), ce qui semble bien faible. La difficulté pour Legault, lors de la prochaine campagne, sera de conserver ces voix de gauche tout en satisfaisant sa base plus à droite.

Je l'ai mentionné par le passé, mais ces sondages sont importants pour Legault afin d'aborder la prochaine élection en tant qu'alternative principale aux Libéraux. Si la CAQ continue d'être bien au-dessus du PQ, Jean-François Lisée aura une tâche plus difficile afin de réunir et profiter de ces votes mécontents du gouvernment Libéral. Cela étant dit, Trudeau avait abordé la dernière campagne fédérale dans une situation similaire.

Pour le PQ, la bonne nouvelle est que QS reste à 12%. C'était son score chez Ipsos la semaine passée. Le fait que l'effet GND semble s'être amoindri signifie que le PQ peut au moins se concentrer sur un adversaire principal: la CAQ. Il reste que ce sondage est terrible pour la formation souverainiste. Être projeté à 16 sièges à un an de l'élection générale n'est de loin pas optimal. Le risque pour le PQ est de simplement perdre de sa pertinence. Est-ce le PQ devrait parler davantage d'indépendance? J'ai des doutes. Le Bloc vient de se faire battre au Lac-Saint-Jean après tout. Mais le PQ se doit de faire quelque chose car la tendance est mauvaise -malgré un petit rebond en septembre.

Au fait, les chances que QS fassent élire davantage de députés que le PQ sont de 0.5%.

En termes de scénarios, voici les différentes probabilités.

Comme vous pouvez le voir, la CAQ serait en effet aux portes d'une majorité. Il reste qu'une minorité resterait tout à fait possible. Les Libéraux ne sont pas non plus hors course. Encore une fois, souvenez-vous que ce billet et projections ne sont basés que sur un seul sondage. On va se garder une p'tite gêne avant de dire que Couillard n'a aucune chance. D'autant plus qu'il est difficile d'imaginer le PLQ chuter sous les 30%. Il lui faudrait perdre une bonne partie de ses appuis chez les non-francophones. Ce sondage montre que c'est bien le cas, mais un sondage n'est pas une élection.

En conclusion, ce sondage est source d'extrêmement bonnes nouvelles pour la CAQ. Il ne s'agît que d'un seul sondage bien sûr mais la tendance reste très favorable pour la CAQ. Couplé à la victoire dans Louis-Hébert, Legault peut commencer à sérieusement envisager devenir PM l'année prochaine. Bien sûr, en politique, en encore davantage au Québec, une année est une éternité.

Après des années à faire ce "boulot", je devrais savoir que projeter des partielles est compliqué. Après tout, la dernière fois que j'ai essayé, il y a trois semaines dans Louis-Hébert, j'ai manqué la marque d'un bon bout. On ne peut pas avoir tort si on ne projette rien, n,est-ce pas? Mais voilà, je suis têtu. Alors voici un billet sur la partielle dans Lac-Saint-Jean du lundi 23 octobre. Je m'excuse pour publier ce billet si tardivement, mais j'étais pas mal occupé.

Avant de commencer, je voudrais aussi faire remarquer ce sondage Ipsos pour le Québec publié vendredi. Je n'ai pas fait d'article là-dessus principalement car les chiffres sont très similaires à ce que l'on a vu depuis quelques mois. Je n'ai pas envie d'écrire le même article à toutes les 3 semaines. Cependant, la vraie nouvelle était que La Presse commande maintenant ses sondages à Ipsos au lieu de Crop (qui semble ne plus faire de sondages du tout). Une bonne nouvelle. Ipsos rejoint ainsi Léger et Mainstreet.

Ok, de retour au Lac-Saint-Jean. L'élection complémentaire a lieu car le député Conservateur Denis Lebel a quitté sa position. Lebel était l'un des candidats vedettes du PCC au Québec et son départ pourrait faire mal. De manière plus générale, cette partielle arrive alors que les sondages fédéraux montrent les Libéraux de Justin Trudeau en baisse depuis quelques semaines. Ajoutez à cela la progression du Bloc et l'arrivée de Jagmeet Singh à la tête du NPD et vous avez tous les ingrédients pour une partielle relativement importante ou du moins intéressante.

1. Les sondages récents

Je ne parle bien sûr pas de sondages dans la circonscription -il n'y en a pas eu- mais des sondages fédéraux au Québec. Ci-dessous vous avez les chiffres pour le Québec des plus récents sondages.

Première remarque, ces sondages ont souvent les Verts très hauts (10% chez Ekos par exemple!). C'est un peu absurde et pas super pertinent pour une partielle au Lac-Saint-Jean. D'autre part, les chiffres de Nanos sont bizarres. Non seulement sont-ils très différents des autres, mais ils ne somment qu'à 90% environ. Est-ce les "autres partis" représentent vraiment 10% Ou s'agît-ils d'indécis? J'ai contacté Nanos et je ferai les mises à jour s'ils répondent. En attendant, je vais partir du principe qu'ils s'agît bel et bien d'indécis/refus et je les redistribue.

Au final, la situation au Québec semble être la suivante: Libéraux devant aux alentours des 35-40%, le Bloc 2e vers les 20-25% (et bien davantage et en progression selon Nanos) et finalement NPD et PCC se bataillant vers les 15% pour la 3e place.

En utilisant ces chiffres et les résultats de la dernière élection (Lebel avait remporté son siège avec 33% - 4 points d'avance sur le NPD), on obtient que les Conservateurs devraient facilement conserver ce siège. Mais voilà, il nous faut tenir compte du départ de Lebel et cela complique naturellement les choses.

2. L'effet Denis Lebel

Estimer l'effet personnel d'un candidat n'est jamais facile. Regardons les résultats précédents. Lebel s'est présenté pour la première fois en 2007 lors d'une élection complémentaire qu'il avait remporté haut la main. Par rapport à 2006, on parle d'une poussée de 22.5 points! Bien sûr, on parle ici de l'époque où les Conservateurs de Stephen Harper courtisaient le Québec et pensaient pouvoir y obtenir des gains majeurs. Aussi, une partielle a souvent tendance à amplifier les variations en raison du faible taux de participation.

Si l'on compare plutôt 2006 à 2008, alors que le PCC perdait en fait environ 3 points provincialement, Lebel obtenait environ 6 points de plus que l'ancien candidat Conservateur. On parle ainsi d'un effet net d'environ 10 points.

Ajoutez à cela le fait que Lebel était rendu un député de longue date (cela vaut environ 4-5 points en moyenne) et son départ devrait coûter au PCC environ 15 points. Il s'agît ici d'un estimé à moitié scientifique et à moitié "au pif". Je vais ainsi retirer 15 points des projections PCC et les redistribuer proportionnellement (je n'ai pas envie de faire une hypothèse concernant quel parti a les meilleures chances de bénéficier de ce bonus).

3. Projections

J'ai fait mes simulations habituelles en incluant davantage d'incertitude. Les chances de gagner sont ci-dessous. J'ai décidé de ne plus inclure les pourcentages de vote dans les projections pour partielles car plusieurs lecteurs ne prennent pas le temps de lire le texte et ne réalisent pas le degré d'incertitude associé avec des projections pour des partielles. Je ne présente ainsi que les chances de gagner.

Chances de gagner l'élection partielle

Nous avons ainsi une course à 4! Le PLC et Bloc ont cependant un avantage. Les simulations donnent un tout petit avantage aux Libéraux mais ne vous trompez pas, les chances sont quasi égales. Il reste que les 4 principaux partis ont techniquement une chance lundi soir, du moins en se basant sur l'information disponible. En termes de pourcentages de votes, on parle possiblement d'une course à 4 parfaites avec tous les partis et candidats vers les 20%. Bien sûr, avec les marges d'errreur et en se rappelant qu'il s'agît d'une partielle, il se peut fort bien qu'un parti fasse bien mieux. Il y a aussi la participation et la sortie de vote qui peuvent venir influencer.

Afin d'aller au-delà, il nous faut entrer le terrain subjectif de l'évaluation des candidats. Les Conservateurs ont remplacé Lebel par Rémy Leclerc. Ancien conseilleur municipal de Roberval et conseiller/organisateur des campagnes de Lebel, il tente ainsi de conserver ce siège.

Le Parti Libéral présente Richard Hébert, avocat et ancien maire de Dolbeau-Mistassini. En général, présenter un maire ou ancien maire marche asez bien dans les comtés ruraux.

Le NPD a Gisèle Dallaire comme candidate. Elle s'était déjà présenté en 2015 et avait failli gagner! Alors que son parti était en chute libre à l'échelle de la province, elle n'avait perdu que 3.7 points par rapports aux résultats transposés de 2011. Son résultat reflètera ainsi possiblement davantage l'effet Singh qu'un changement de candidat local, ce qui sera intéressant.

Finalement, le Bloc présente Marc Maltais, directeur régional de la FTQ.

Au final, tous les candidats ont un bon profile à première vue. Les Conservateurs sont un peu derrière (recruter l'ancien directeur de campagne n'est pas toujours un bon signe), mais il est difficile de départager les candidats PLC, NPD et Bloc. J'ai le sentiment que le PLC et Bloc prennent cette partielle plus au sérieux, mais c'est subjectif.

En conclusion, je crois que l'on peut s'attendre à une course à deux entre le Bloc et le PLC, mais le NPD et le PCC ont des chances. Après, je comprends bien qu'une telle projection revient à peu près à dire "tout peut arriver" et je n'avais pas besoin d'écrire un si long billet, mais dans le cas présent, c'est vraiment le cas. Le PCC peut gagner si les sondages Nanos ont tort et si le nouveau candidat parvient à conserver les votes Lebel. Le PLC peut espérer un gain si l'opposition se divise (en particulier le Bloc et NPD). Le NPD présente la même candidate qu'en 2015 et elle avait failli gagner. Le parti a cependant baissé provincialement depuis l'élection générale. Finalement, le Bloc peut rêver de reconquérir ce comté, surtout si les sondages Nanos ont raison.

Si je devais miser de l'argent? Je miserais un petit $5 sur le Bloc et Marc Maltais, mais je ne miserais pas davantage que $5.

On Monday, residents of Calgary (and elsewhere in Alberta, but I'm only focusing on Calgary here) were asked to vote to elect their Mayor. Incumbent Naheed Nenshi won after a long and difficult campaign, beating challenger Bill Smith 51-44.

I live in Vancouver and don't follow the politics of Calgary. The only reason I had an interest in this race is because pollsters had very different numbers. Mainstreet had Smith easily ahead by 16 points while Forum had Nenshi winning by 19 points! Obviously one of these firms would be wrong and I wanted to grab the pop corn and watch!

Mainstreet is obviously the one that was wrong and they already admitted it. They had Nenshi behind by 16 and he won by almost 8 points. The total difference is actually 23.7 points! That is a massive failure. We have seen polls being wrong before (Alberta 2012, BC 2013, etc) but missing by 24 points is something else. This is more similar to the infamous Brandon-Souris by-election in 2013 when Forum was predicting the Liberals to be 29 points ahead when they lost by a little bit less than 2 - so a total error of almost 31 points. However, this was a riding poll (usually less accurate) for a by-election (harder to predict) with a really small sample size (below 400). The miss by Mainstreet here, with 1500 respondents, is more stunning.

What makes it worse for this firm is how confident its president, Quito Maggi, was that his numbers were right. Maggi is often active during election periods. He will tweet his numbers, comment them, defend them. I actually truly appreciate that. Much better than some firms who publish numbers and are never accessible for any question. Mainstreet was so confident, they even publish (and shared on twitter) a polling scorecard pdf for people to be able to easily see which pollster was the most right! Talk about shooting yourself in the foot!

Since then, Mainstreet has been criticized by many. And let's face it, when you miss as badly as they did for this election, people will remember. Forum still has a bad reputation among many people even though they have had good to excellent results in pretty every single election since 2012 (to be fair, Forum does have a tendency to publish some weird polls once in a while). So of course Mainstreet will have to deal with the blow to its credibility for a while. With that said, some of the attacks go beyond what you'd expect. Because Mainstreet is the main partner for Post Media, some are quick to jump to the conclusions that Mainstreet was publishing fake numbers and/or trying to change the race. Those are very serious accusations for a pollster. The objective of this post is to determine how badly Mainstreet really did and to put this failure in perspective.

Polls were bad overall, Mainstreet was just the worse

Mainstreet was obviously very, very wrong on Monday. But Forum and the third pollster, Asking Canadians, were far from being good. They did get the winner right, but their numbers were also fairly off. Look at the table below.

Look, in particular, at the corresponding margins of error associated with the Mean Square Error for each firm. The Mean Square Error is a standard measure of accuracy and widely used to compare polling accuracy in the industry or in academic papers. If the estimator -the poll here- is unbiased, it's also an estimator of the variance and we can therefore calculate the corresponding margins of error. This is how I proceed to calibrate my model and simulations. For instance in France for presidential election, the average error is usually small and the corresponding margins of error are around 3-4%. On the other hand, for US election, they are closer to 6-7%. See it as a general measure of the effective polling accuracy as opposed to the theoretical one. At 17%, Mainstreet is doing terrible but the other two firms are way above what we usually observe in the industry. If Mainstreet was off by almost 24 points in total, Forum was off by more than 11!

What this means is that this was a difficult race to poll. One possible explanation is the increased turnout that went from 39% in 2013 to 58%! If there is one thing that is usually correlated with polling errors, it's a sharp change in turnout.

I have reached to Mainstreet to ask them if they knew what happened and they said not yet. Which is a completely fair answer. I'd actually be very skeptical if they could pinpoint exactly what went wrong. Also, they aren't hiding behind the usual "people changed their mind 2 minutes before voting" excuse often used by pollsters.

Could Mainstreet simply have been unlucky? After all, basic statistics teaches us that once in a while, you can get a bad sample and results that are very off. Technically speaking, we should actually get such a poll every 20 polls (the 19 out 20 thingy of the margins of error). For this part, I can safely answer: no, being unlucky wouldn't explain being off by 24 points. How do I know? I ran simulations. Specifically, I ran 100,000 simulations using the actual results of Monday and the sample size of Mainstreet. Essentially, I'm simulating taking 100,000 samples of 1500 respondents. The results are below with the gap Nenshi-Bill (positive means Nenshi is ahead in one simulated poll, negative means Smith was ahead).

As you can see, out of 100,000 samples of 1500 respondents, the most skewed sample I got was one were Smith was ahead by 3 points (remember, those simulations are drawing samples from a population where Nenshi is actually ahead by 8 points. This is really showing what can happen when you only have a sample of the population). So getting so unlucky that you get a sample where Nenshi was down 16 points is impossible. If anything, given that Nenshi was actually ahead by 8, getting a sample of 1500 respondents where Smith was ahead at all was incredibly difficult as you can see on the graph (very few points with a gap below 0 on the left). Sure, ti might be possible to get Smith up by 16 if you do a billion samples and you are incredibly unlucky in one of them, but this is becoming a stretch. For all intents and purposes, random sampling can't explain the error here.

While the failure by Mainstreet can't be explained by simply being unlucky, it doesn't mean the sample of Mainstreet was good though. Quito Maggi admitted it already. What it means is that this sample couldn't be bad simply because of bad luck. Other reasons were at play. At this game, your guess is as good as mine, but it could be anywhere from oversampling some demographics (maybe not enough young people as suggested by Maggi), to using incorrect weights not representative of the voters with this turnout.

Finding out why polls failed is never easy. To this day, we still don't really know what happened in Alberta in 2012 or BC in 2013. In the US last year, State level polls mostly missed because they apparently didn't sample enough white Americans without a college degree. In all likelihood, we might never know what happened here in Calgary.

The "Mainstreet was just making things up and/or had an agenda" criticism

Ok, this is getting beyond my expertise and what I like to write about on this blog. Quito Maggi runs his firm the way he wants. As I said before, I have zero problem with him being active on Twitter. I'm not going to judge what is a "professional behavior for a pollster". I myself am guilty at times of being too active online.

But I simply have no reason to believe Mainstreet would do such a thing. They have so far done fairly well in Canadian elections. They were fine in BC earlier this year (except for their riding level polls; Also, to be fair, pretty much every firm did well there this year) or in Nova Scotia (although Forum did better). They were also good for the federal election in 2015. Moreover, Maggi has previously been accused of being a Liberal, not a Conservative. So why would he use his firm to help Bill Smith who was the more right-wing candidate for the Mayoral election? Because Mainstreet has a deal with PostMedia, a group that owns more right-wing leaning newspapers such as the National Post? Sure. It's very easy to see bias where people want to find it. I mean, during an election, I can be accused daily of being a "Liberal shill" or "trying to help the Conservatives" depending on the projections I post.

And yes I'm aware of the dispute between Mainstreet and the MRIA. I have no comment on this. If you read more about the story, it sounds more and more like an internal dispute between two organizations. It seems more an issue of PR and behavior of Maggi than of the reliability of the firm and its numbers.

At the end of the day, as far as I'm concerned, Mainstreet's track record so far had been very good. This giant failure in Calgary will not change my mind. All it does is remind us why taking an average is better (you had the results pretty much spot on by averaging here) and that failure can happen for pollsters. Should the be more humble? Sure, maybe.

Polls haven't been good for Prime Minister Justin Trudeau and the federal Liberals. Tons of articles have surfaced online during the last week talking about it. So let's take a look at what the current polling average is telling us.

For this post, I used the most recent polls from Angus-Reid, Nanos, Ekos and Ipsos. All polls have been conducted in the last month. Both Nanos and Angus-Reid actually released more than one poll during that period but I only selected their most recent numbers. Why? The idea here is to get an average with a variety of firms as to avoid the possible bias of one individual firm. I could have included two Nanos (very good firm) but they do a rolling average anyway. I didn't include the most recent poll from Forum because it was over a month old (but notice that while Forum's numbers are still clear outliers, it remains that this firm was the first to really observe a decline in the Liberals' support. As I had said last month, dismissing Forum completely is ignorant). Also, the Nanos and Angus-Reid were published -and conducted entirely in the case of the latter- after the election of Jagmeet Singh at the head of the NDP. It's too few data points to draw any conclusion about the effect of his election (if you compare the last two Angus-Reid, the NDP is at +4 but it could very well be statistical noise and the objective of today's post isn't to assess the impact of the new NDP leader).

I don't weigh based on sample size or anything because those haven't proven to really improve polling average accuracy in Canada. Also, just to be clear, this is a very raw average of the numbers taken at face value. I didn't look into the number of undecided, incumbency, etc. We aren't in an election period, I really just want a rough idea of where each party stands.

The results? Here below.

Vote intentions; Seat projections with confidence intervals; Chances of winning the most seats

As mentioned in the title -no clickbait here!- the Liberals would still be favourite to win an election held tomorrow, but they wouldn't be guaranteed a majority. The actual odds for a majority are 34%. Just 2 months ago, it was difficult to imagine a scenario where Trudeau wouldn't win the most seats -along with a majority- we are now in a situation where Andrew Scheer has an actual path to have the most MPs at Ottawa (and a tiny chance, 2.5%, of a majority). What a dramatic change in a relatively short period of time. Why is that? As speculated before, I can only think of the tax reform proposal of the Liberals as angering some voters.

Now, make no mistake. Trudeau and his party are still in a great position and the next federal election is 2 years from now. Still, you can't deny that the numbers simply do not look as great as they used to for the Grits. They still have the Atlantic and Quebec as a source of as high number of seats while Ontario and BC are now true battlegrounds. If the election of Singh sinks the NDP even more in Quebec -a real possibility- then the Bloc could climb back to 25-30% in la Belle Province and become an actual threat again.

Andrew Scheer's chances, at around 25%, are quite close to the chances I was giving him to win the CPC leadership! If he can somehow win back some of the Blue Liberals who left Harper in 2015 while keeping Alberta and most of the Prairies, he'd then be in a position to become Prime Minister. The sore point for him is Quebec. In the latest Nanos, the CPC is at barely 8% there! I admit that I have a hard time seeing how Scheer could suddenly conquer the French province and he might need the Bloc to take seats away from the Liberals. The by-election next week in Lac-Saint-Jean will be interesting. If the Conservatives want to remain relevant in Quebec, they need a good showing there. The current projections give the Tories a 93% chance of winning the seat, but these numbers do not account for the loss of a popular candidate such as Denis Lebel (or the fact it's a by-election). I'll write a piece about the by-election later this week but for now, let's just say that a loss there would be bad news for Scheer.

For the NDP, there is no path to forming the next government, at least not currently. We'll see in the coming weeks if Singh can help his party climb back to at least 20% and above. For now, the silver lining is BC where the federal NDP is most likely helped by the provincial ones (new NDP government with a currently popular Premier).

In conclusion, there is no denying that the numbers have fallen for Justin Trudeau. To be fair, it might simply be a return a more normal situation after two years without any opposition - both the CPC and NDP were without a leader- and a very long honeymoon. I realize many have written this before but I believe the downward trend is more visible right now. Still, Trudeau remains the big favourite to win reelection in 2019 and even a majority is still perfectly reachable. Following polls and projections 2 years from an election is tricky. I don't think we should dismiss the numbers outright, but we also need to remain cautious not to see too much in them. I'll add this as a conclusion: I think it'll be very interesting to see if Singh can go and steal some of the progressive vote from Trudeau. If he can, then don't be surprised if the CPC start polling ahead next month.

Waou, quelle victoire pour la CAQ dans la partielle de Louis-Hébert. Et avec une participation plus que décente (52%). En dépassant, les 50%, Geneviève Guilbault fait son entrée à l'Assemblée Nationale et remplacera le député Libéral de longue date Sam Hamad.

Les projections donnaient le PLQ favori (en utilisant les sondages récents provinciaux. En utilisant les chiffres régionaux, cela variait d'un avantage au PLQ à une course serrée). Elles avaient bien sûr tort. Les partielles sont toujours difficiles à projecter, mais celle de hier a des résultats plus surprenant que d'habitude. Il faut dire qu'entre les raisons du départ d'Hamad et les histoires durant la campagne, il fallait possiblement s'attendre à des surprises.

Je veux simplement illustrer ici à quel point la contre-performance du PLQ est significative. Avec seulement 18.7%, le PLQ est en-dessous de mes marges d'erreur (qui étaient déjà doublées). Et ces projections avaient été faites avce le PLQ à environ 30% provincialement (probablement le plancher pour ce parti à l'échelle de la province). Dans ce comté, on parle ainsi d'une baisse de plus de 30 points par rapport à 2014! Le sondage local fait par Eris Media a bien fait, même si l'ampleur de la victoire de la CAQ sur le PLQ avait été sous-estimée.

Nous avons eu 15 partielles dpeuis 2014, le PLQ y avait obtenu de relativement bons résultats. Par rapport aux projections, les résultats avaient été entre 24 points supérieurs (Renée-Lévesque où le PQ s'était effondré) et 7 points inférieurs (Sainte-Henri-Sainte-Anne). En moyenne, le PLQ avait récolté environ 4 points au-dessus des projections, une erreur moyenne tout à fait correct, surtout pour des partielles (et en fait, l'erreur moyenne n'était qu'une sous-estimation de 2.6 points si on retire René-Lévesque).

Le tableau ci-dessous devrait vous convaincre que le PLQ ne mange en général pas une telle volée lors des partielles.

Différences entre les résultats et les projections (en points de pourcentage):

Lévis	2.1
Richelieu	3.8
Chauveau	15.2
Jean-Talon	4.8
Beauce-Sud	8.2
Fabre	-4.7
René-Lévesque	23.8
SHSA	-7.3
Chicoutimi	6.5
Arthabaska	7.9
Marie-Victorin	-2.1
Saint-Jérôme	1.1
Verdun	-4.5
Gouin	0.9

La candidate PLQ dans Louis-Hébert a récolté 20 points de moins que prévu! Donc oui le PLQ avait eu de mauvais résultats dans des partielles, mais ce parti n'avait encore jamais connu une soirée avec une telle contre-performance. Les électeurs de ce comté ont de toutes évidences décidé d'envoyer un message. Il faudra maintenant voir si ce message sera confirmé dans un an lors de l'élection générale.

La CAQ a fait mieux que prévue et réussit ici à décrocher un siège important. Après avoir échoué dans Saint-Jérôme l'année passée, le parti de Legault ne pouvait se permettre de laisser passer une autre opportunité dans une région avec du potentiel.

Le PQ a fait tel que prévu, peut-être un petit mieux.

QS a un peu déçu mais ce parti ne semble pas accorder la même importance à toutes les partielles.

Pour le Parti Conservateur, le 4% est un peu faible. Il semblerait que ce parti n'ait pas réussit à capitaliser sur le mécontentement des électeurs envers le gouvernment. Avec la CAQ au-dessus des 50%, le vote de droite a semble-t-il choisi son camp hier soir.

Au final, cette partielle pourrait avoir des conséquences importantes. Un remaniement ministériel est quasiment garanti. Du côté de l'opposition, le PQ et la CAQ vont continuer de proposer des visions différentes mais aucun parti ne va pouvoir prétendre être LA meilleure alternative (la CAQ va bien sûr essayer après cette victoire mais la performance du PQ montre un parti vers les 25% provincialement, donc pas loin des deux autres). Je continuerai à faire des projections pour les partielles malgré les erreurs. Tant que l'on garde en tête qu'il est difficile de les projeter, je crois que l'exercice reste intéressant.