Nous sommes à 4 jours du premier débat des chefs (ce jeudi à 20h) et nous avons officiellement eu un seul sondage public durant cette campagne. Et il date d'il y a deux semaines! Depuis lors, nous avons au moins les mises à jour quotidiennes de Mainstreet mais elles sont payantes. Nous sommes sensés avoir un nouveau Léger en "début de semaine". On verra bien.
Non seulement Mainstreet nous fournit des chiffres à l'échelle de la province à tous les jours, il y a également des sondages par comtés (3-4 par jour). On en a 31 à date. On pourrait naturellement penser qu'un sondage fait dans un comté est la meilleure source d'information disponible, bien meilleure que des projections (basées sur les sondages provinciaux ou les chiffres régionaux au mieux). Dans les faits, ce n'est pas si simple. Les sondages par comté ont une précision assez faible.
Mainstreet avait déjà fait une tonne de ces sondages locaux lors de l'élection en Ontario cet été. Ils avaient parfois fait mieux que les projections et parfois non. Personnellement, j'ai tendance à tenir compte de ces sondages s'ils montrent une situation très différente (au moins 5-10 points d'écart) et si les résultats ont du sens (par exemple ici au Québec, il se peut que le PQ soit plus bas que prévu dans Abitibi-Ouest en raison du départ de François Gendron).
Mais l'un des problèmes que j'avais avec ces sondages en Ontario était qu'ils n'étaient pas cohérents avec les sondages provinciaux. Ces derniers montraient (durant la campagne) les Conservateurs en avance sur le NPD par 3-5 points alors que les sondages par comté étaient plutôt en ligne avec un PC largement devant. J'en avais régulièrement parlé durant la campagne.
Au final les Conservateurs avaient effectivement gagné avec une avance très confortable. Cela étant dit, les sondages provinciaux (de Mainstreet ou des autres firmes utilisant la méthode IVR) avaient montré cette tendance vers la fin. Est-ce que les sondages par comté étaient ceux qui étaient justes depuis le début ou était-ce davantage une coïncidence?
Quoiqu'il en soit, les sondages locaux de Mainstreet au Québec semblent souffrir du même problème. Regardons cela en détail.
Avant de commencer cependant, je tiens à préciser que cet article ne devrait pas être interprété comme une opinion négative de ma part de la firme Mainstreet. Bien franchement je suis tanné de lire ou entendre certains commentaires sur cette firme (certains sont carrément idiots, sous-entendant qu'une firme Canadienne ne pourrait faire du bon boulot au Québec). Le but de ce billet est simplement de montrer l'inadéquation qui existe entre ces sondages locaux et provinciaux. Rien de plus. Les sondages locaux sont toujours difficiles à faire et Mainstreet a au moins le mérite d'essayer et de nous fournir des données. On ne peut en dire autant de bien des firmes de sondage. Voilà, c'est dit.
Tout d'abord, je comprends que faire la moyenne de 31 sondages faits dans 31 circonscriptions durant plus de 2 semaines n'est pas optimal. L'une des objections pourrait être que ces sondages ne sont pas faits dans des circonscriptions représentatives de la province (imaginons qu'ils proviennent tous de la Rive-Nord) et ainsi il est normal qu'ils montrent des pourcentages différents.
C'est une objection valide en théorie mais pas en pratique. Les 31 sondages faits à date proviennent d'un peu partout au Québec. 3 sur l'île, 4 sur la Rive-Nord, 4 sur la Rive-Sud, 4 en Mauricie, 1 en Abitibi, etc. Ce n'est pas parfait (il y a un peu trop de sondages faits en Estrie ou Outaouais et pas assez à Montréal ou Québec par exemple) mais pas si pire en bon français.
On peut de toutes façon regarder les résultats en 2014 pour se donner une idée quant à savoir si ces comtés sont "biaisés".
Le tableau suivant vous montre cela en plus de la moyenne des sondages locaux ainsi que la moyenne de mes projections.
Tout d'abord, en utilisant les résultats de 2014, on voit bien que cet échantillon de circonscriptions n'est pas mauvais. Le PLQ y avait reçu presque exactement sa moyenne provinciale. Ces comtés sont par contre un peu favorables au PQ (3-4 points au-dessus de la moyenne provinciale) et défavorables à la CAQ (4 points en-dessous).
Concernant les sondages, le PLQ est bien plus bas que ce à quoi on pourrait s'attendre en se basant sur les sondages provinciaux (32% selon Léger, 28-30% selon Mainstreet). La CAQ est à l'inverse bien plus élevée. C'est particulièrement vrai si l'on compare aux sondages provinciaux de la même firme. Cette dernière a en effet toujours eu la CAQ plus bas que Léger par exemple et le parti de François Legault est rendu vers les 31-33% depuis plus d'une semaine (elle était à 34-35% avant). De plus, rappelons-nous que ces 31 comtés ne sont pas particulièrement favorables à la CAQ, tel que démontré ci-dessus.
Mes projections sont bien plus en ligne avec ce que l'on attend. Le PLQ y est à 29-30%, la CAQ y est à 33-34% (plus basse que son score du début de campagne mais en ligne avec les projections récentes; certaines projections datent de quand la CAQ était à 36% en moyenne, d'autres sont faites avec la CAQ à 32-33%) alors que le PQ performe un peu mieux que sa moyenne provinciale (ce qui était attendu puisque c'était le cas en 2014; Aussi, le fait qu'une proportion trop importante de ces 31 comtés provient du Nord, Lac-Saint-Jean, etc, devrait aider le PQ).
Si vous trouvez que les différences sont faibles, regardez l'écart CAQ-PLQ. Selon les sondages locaux cet écart serait de près de 12 points. Selon les sondages provinciaux et mes projections, on parle plutôt d'une avance de 4 points (sur cette période).
Oui ces sondages locaux sont éparpillés sur plusieurs semaines durant lesquelles les intentions de vote (provinciales) ont bougé. Mais mes projections sont comparées au même moment, donc les différences observées ici viennent d'ailleurs. Aussi, même si je limite mon analyse aux sondages faits depuis fin août, j'observe les mêmes effets (la CAQ y est en fait encore plus élevée et le PLQ encore plus bas!).
La différence entre les sondages locaux et provinciaux de Mainstreet est encore plus importante si l'on regarde Québec Solidaire. Alors que ce parti est en constante progression chez cette firme et récolterait plus de 16% des votes actuellement, il se retrouve sous les 10% dans ces sondages locaux! Et là encore on ne saurait utiliser la liste des comtés comme justification puisque QS y avait récolté 7% en 2014, soit pas mal sa moyenne provinciale. Dans la "guerre" opposant Mainstreet à Léger (cette firme a QS bien plus bas), ces sondages locaux semblent donner des munitions à Léger.
Autre remarque, la catégorie "autres" (qui regroupent tous les partis sauf les 4 principaux) est à près de 10% dans ces sondages. Cela semble incroyablement élevé et irréaliste.
Je ne peux pas révéler tous les chiffres de ces sondages ici vu que l'accès est payant, mais voici quelques exemples. Selon le sondage local dans Richmond, le PLQ n'y serait qu'à 12.9% et la CAQ à plus de 46%. Les Libéraux avaient remporté ce siège il ya 4 ans avec 41% des votes. Tomber à 12% semble peu probable. Mes projections ont ce parti compétitif avec la CAQ vers les 30%.
Dans Lotbinière-Frontenac, un comté où le PLQ avait récolté près de 50% des votes en 2014, ce même parti y est sondé à seulement 22%! Tout un écroulement!
Soyons clairs ici, je ne prétends pas que mes projections sont meilleures que ces sondages locaux. Je ne peux pas le savoir actuellement. Ce que je dis c'est que mes projections sont en lignes (elles "matchent" en bon français) avec les intentions de vote à l'échelle de la province. Les sondages par comté d'un autre côté nous montrent une situation où la CAQ est largement devant le PLQ et en passe de remporter une super majorité. Sur les 31 comtés sondés, la CAQ y est en tête (et souvent largement) dans 23! Le PQ ne remporterait qu'un siège (Bourget, de peu) et les Libéraux en auraient 7 (la plupart serrés aussi). Extrapolé, cela nous donnerait la CAQ avec près de 90 sièges!
Donc soit les sondages provinciaux de Mainstreet, qui montrent la CAQ vers les 30-32%, ont raison et nous avons la CAQ probablement en terrain minoritaire. Soit les sondages par circonscription ont raison et la CAQ est sur le point de remporter une très large majorité. Mais si c'est le cas, ce parti ne peut pas être vers les 30-32%, ça n'a pas de sens (et mon analyse d'hier confirme cela). Si les sodnages locaux ont raison, la CAQ est réalistiquement à 36-37% (au moins) provincialement et près de 10 points devant les Libéraux.
Pour ma part, je continue de faire confiance aux chiffres provinciaux. Je vais ajuster mes projections quand les sondages locaux me semblent indicateurs d'information (Abitibi-Ouest ou Lac-Saint-Jean avec le départ de députés populaires ou de longue date) et je vais ignorer le reste. Je me dois d'être cohérent: soit je fais confiance aux sondages provinciaux, soit je fais confiance aux locaux. Cela étant dit, je me réserve le droit de modifier cette façon de faire durant la campagne. J'attends des sondages des autres firmes pour comparer.
Mainstreet avait déjà fait une tonne de ces sondages locaux lors de l'élection en Ontario cet été. Ils avaient parfois fait mieux que les projections et parfois non. Personnellement, j'ai tendance à tenir compte de ces sondages s'ils montrent une situation très différente (au moins 5-10 points d'écart) et si les résultats ont du sens (par exemple ici au Québec, il se peut que le PQ soit plus bas que prévu dans Abitibi-Ouest en raison du départ de François Gendron).
Mais l'un des problèmes que j'avais avec ces sondages en Ontario était qu'ils n'étaient pas cohérents avec les sondages provinciaux. Ces derniers montraient (durant la campagne) les Conservateurs en avance sur le NPD par 3-5 points alors que les sondages par comté étaient plutôt en ligne avec un PC largement devant. J'en avais régulièrement parlé durant la campagne.
Au final les Conservateurs avaient effectivement gagné avec une avance très confortable. Cela étant dit, les sondages provinciaux (de Mainstreet ou des autres firmes utilisant la méthode IVR) avaient montré cette tendance vers la fin. Est-ce que les sondages par comté étaient ceux qui étaient justes depuis le début ou était-ce davantage une coïncidence?
Quoiqu'il en soit, les sondages locaux de Mainstreet au Québec semblent souffrir du même problème. Regardons cela en détail.
Avant de commencer cependant, je tiens à préciser que cet article ne devrait pas être interprété comme une opinion négative de ma part de la firme Mainstreet. Bien franchement je suis tanné de lire ou entendre certains commentaires sur cette firme (certains sont carrément idiots, sous-entendant qu'une firme Canadienne ne pourrait faire du bon boulot au Québec). Le but de ce billet est simplement de montrer l'inadéquation qui existe entre ces sondages locaux et provinciaux. Rien de plus. Les sondages locaux sont toujours difficiles à faire et Mainstreet a au moins le mérite d'essayer et de nous fournir des données. On ne peut en dire autant de bien des firmes de sondage. Voilà, c'est dit.
Tout d'abord, je comprends que faire la moyenne de 31 sondages faits dans 31 circonscriptions durant plus de 2 semaines n'est pas optimal. L'une des objections pourrait être que ces sondages ne sont pas faits dans des circonscriptions représentatives de la province (imaginons qu'ils proviennent tous de la Rive-Nord) et ainsi il est normal qu'ils montrent des pourcentages différents.
C'est une objection valide en théorie mais pas en pratique. Les 31 sondages faits à date proviennent d'un peu partout au Québec. 3 sur l'île, 4 sur la Rive-Nord, 4 sur la Rive-Sud, 4 en Mauricie, 1 en Abitibi, etc. Ce n'est pas parfait (il y a un peu trop de sondages faits en Estrie ou Outaouais et pas assez à Montréal ou Québec par exemple) mais pas si pire en bon français.
On peut de toutes façon regarder les résultats en 2014 pour se donner une idée quant à savoir si ces comtés sont "biaisés".
Le tableau suivant vous montre cela en plus de la moyenne des sondages locaux ainsi que la moyenne de mes projections.
 |
| Source: sondages Mainstreet et projections |
Tout d'abord, en utilisant les résultats de 2014, on voit bien que cet échantillon de circonscriptions n'est pas mauvais. Le PLQ y avait reçu presque exactement sa moyenne provinciale. Ces comtés sont par contre un peu favorables au PQ (3-4 points au-dessus de la moyenne provinciale) et défavorables à la CAQ (4 points en-dessous).
Concernant les sondages, le PLQ est bien plus bas que ce à quoi on pourrait s'attendre en se basant sur les sondages provinciaux (32% selon Léger, 28-30% selon Mainstreet). La CAQ est à l'inverse bien plus élevée. C'est particulièrement vrai si l'on compare aux sondages provinciaux de la même firme. Cette dernière a en effet toujours eu la CAQ plus bas que Léger par exemple et le parti de François Legault est rendu vers les 31-33% depuis plus d'une semaine (elle était à 34-35% avant). De plus, rappelons-nous que ces 31 comtés ne sont pas particulièrement favorables à la CAQ, tel que démontré ci-dessus.
Mes projections sont bien plus en ligne avec ce que l'on attend. Le PLQ y est à 29-30%, la CAQ y est à 33-34% (plus basse que son score du début de campagne mais en ligne avec les projections récentes; certaines projections datent de quand la CAQ était à 36% en moyenne, d'autres sont faites avec la CAQ à 32-33%) alors que le PQ performe un peu mieux que sa moyenne provinciale (ce qui était attendu puisque c'était le cas en 2014; Aussi, le fait qu'une proportion trop importante de ces 31 comtés provient du Nord, Lac-Saint-Jean, etc, devrait aider le PQ).
Si vous trouvez que les différences sont faibles, regardez l'écart CAQ-PLQ. Selon les sondages locaux cet écart serait de près de 12 points. Selon les sondages provinciaux et mes projections, on parle plutôt d'une avance de 4 points (sur cette période).
Oui ces sondages locaux sont éparpillés sur plusieurs semaines durant lesquelles les intentions de vote (provinciales) ont bougé. Mais mes projections sont comparées au même moment, donc les différences observées ici viennent d'ailleurs. Aussi, même si je limite mon analyse aux sondages faits depuis fin août, j'observe les mêmes effets (la CAQ y est en fait encore plus élevée et le PLQ encore plus bas!).
La différence entre les sondages locaux et provinciaux de Mainstreet est encore plus importante si l'on regarde Québec Solidaire. Alors que ce parti est en constante progression chez cette firme et récolterait plus de 16% des votes actuellement, il se retrouve sous les 10% dans ces sondages locaux! Et là encore on ne saurait utiliser la liste des comtés comme justification puisque QS y avait récolté 7% en 2014, soit pas mal sa moyenne provinciale. Dans la "guerre" opposant Mainstreet à Léger (cette firme a QS bien plus bas), ces sondages locaux semblent donner des munitions à Léger.
Autre remarque, la catégorie "autres" (qui regroupent tous les partis sauf les 4 principaux) est à près de 10% dans ces sondages. Cela semble incroyablement élevé et irréaliste.
Je ne peux pas révéler tous les chiffres de ces sondages ici vu que l'accès est payant, mais voici quelques exemples. Selon le sondage local dans Richmond, le PLQ n'y serait qu'à 12.9% et la CAQ à plus de 46%. Les Libéraux avaient remporté ce siège il ya 4 ans avec 41% des votes. Tomber à 12% semble peu probable. Mes projections ont ce parti compétitif avec la CAQ vers les 30%.
Dans Lotbinière-Frontenac, un comté où le PLQ avait récolté près de 50% des votes en 2014, ce même parti y est sondé à seulement 22%! Tout un écroulement!
Soyons clairs ici, je ne prétends pas que mes projections sont meilleures que ces sondages locaux. Je ne peux pas le savoir actuellement. Ce que je dis c'est que mes projections sont en lignes (elles "matchent" en bon français) avec les intentions de vote à l'échelle de la province. Les sondages par comté d'un autre côté nous montrent une situation où la CAQ est largement devant le PLQ et en passe de remporter une super majorité. Sur les 31 comtés sondés, la CAQ y est en tête (et souvent largement) dans 23! Le PQ ne remporterait qu'un siège (Bourget, de peu) et les Libéraux en auraient 7 (la plupart serrés aussi). Extrapolé, cela nous donnerait la CAQ avec près de 90 sièges!
Donc soit les sondages provinciaux de Mainstreet, qui montrent la CAQ vers les 30-32%, ont raison et nous avons la CAQ probablement en terrain minoritaire. Soit les sondages par circonscription ont raison et la CAQ est sur le point de remporter une très large majorité. Mais si c'est le cas, ce parti ne peut pas être vers les 30-32%, ça n'a pas de sens (et mon analyse d'hier confirme cela). Si les sodnages locaux ont raison, la CAQ est réalistiquement à 36-37% (au moins) provincialement et près de 10 points devant les Libéraux.
Pour ma part, je continue de faire confiance aux chiffres provinciaux. Je vais ajuster mes projections quand les sondages locaux me semblent indicateurs d'information (Abitibi-Ouest ou Lac-Saint-Jean avec le départ de députés populaires ou de longue date) et je vais ignorer le reste. Je me dois d'être cohérent: soit je fais confiance aux sondages provinciaux, soit je fais confiance aux locaux. Cela étant dit, je me réserve le droit de modifier cette façon de faire durant la campagne. J'attends des sondages des autres firmes pour comparer.
