samedi 20 mai 2017

Les sondages sont-ils fiables ?

Dans mon précédent billet je n'évoquais pas les sondages, mais dans les commentaires il en a été question quand j'en ai évoqué un en réponse à Robert :
  • Géd19 mai 2017 à 16:39 [...] fin janvier on donnait encore Fillon contre Le Pen et Macron arrivait en troisième position : « NFO RTL - Si Marine Le Pen et François Fillon sont les mieux placés pour accéder au second tour, Emmanuel Macron consolide son statut de troisième homme, selon un sondage Kantar Sofres-Onepoint pour RTL » (http://www.rtl.fr/actu/politique/presidentielle-2017-le-pen-en-tete-au-1er-tour-macron-talonne-fillon-7786982543) [...]
Ce à quoi Robert me répond :
  • Géd @

    Je n'ai jamais dit que Macron avait toutes les chances de gagner, j'ai dit que Hollande a fait tout ce qu'il pouvait pour. Le soutien de Hamon n'était qu'un soutien de façade (Hollande a de la mémoire). Quant aux sondages leur fiabilité est quasi nulle.

    Robert
Talleyrand disait que « tout ce qui est excessif est insignifiant », donc je serais tenté de dire que la dernière phrase du commentaire de Robert est insignifiante.

Cependant il me semble utile d'étudier un minimum la question afin au moins de s'assurer que, contrairement à ce que prétend Robert, la fiabilité des sondages n'est pas quasi nulle.

Il y a plusieurs définitions du mot sondage, données par exemple sur wikipedia :
Prise au pied de la lettre, la phrase de Robert « Quant aux sondages leur fiabilité est quasi nulle » s'appliquerait donc à tous les types de sondages, cependant il parait assez évident qu'il voulait parler de la quatrième définition, à savoir :
  • Un sondage peut également être une méthode statistique d'analyse d'une population humaine ou non humaine à partir d'un échantillon de cette population.
Wikipedia nous donne une définition de ce type de sondages de nature statistique :
  • Un sondage est une méthode statistique visant à évaluer les proportions de différentes caractéristiques d'une population à partir de l'étude d'une partie seulement de cette population, appelée échantillon. Les proportions sont déterminées avec des marges d'erreur, dans lesquelles se situent les proportions recherchées avec telle ou telle probabilité.
Il existe beaucoup d'applications des sondages, par exemple :
  • on relève leur utilisation dans le cadre de stratégies de marketing.
On peut déjà s'interroger sur la santé mentale des directeurs marketing qui utilisent fréquemment, pour « cibler les attentes de leurs consommateurs »,  une technique dont, selon Robert, la « fiabilité est quasi nulle »...

On sait également que les candidats à quasiment n'importe quelle élection sont très demandeurs de sondages qu'ils analysent afin de peaufiner leur stratégie, avec plus ou moins de bonheur il faut dire, mais personne n'est parfait.

Même quand les sondages sont interdits, la veille et le jour du scrutin, cela n'empêche pas les principaux intéressés d'en consulter des plus récents, ils sont simplement interdits à la diffusion au grand public.

Alors, les sondages, leur fiabilité est-elle vraiment quasi nulle ?

Il faut d'abord souligner, et c'est peut-être ce qui a échappé à Robert, qu'on ne parle pas de prédictions ou de prévisions des sondages, mais de projections !

J'avais déjà parlé de la confusion entre prédictions, prévisions et projections dans ce billet sur les modèles climatiques :
  • [...] c'est une constante chez les climatosceptiques de confondre projections avec prévisions ou prédictions, et donc climat (projections) avec météo (prévisions) ou astrologie (prédictions) [...]
Ainsi il semblerait que Robert tombe dans le même piège que les climatosceptiques qui croient que les modèles climatiques sont censés prévoir le climat futur, alors qu'en fait ils ne font que projeter des hausses de températures en fonction de scénarios bien spécifiques ; comme le précise le site du Centre National de Recherches Météorologiques :
  • Concernant les gaz à effet de serre et les aérosols, leur évolution future est fortement liée aux activités humaines et reste très incertaine. Afin de prendre en compte ces incertitudes, différents scénarios d’émissions de ces particules sont proposés par des économistes et les modèles sont utilisées pour simuler l’évolution du climat suivant ces différents scénario d’émission.
Ainsi les sondages politiques fonctionnent à base de scénarios donnant des projections qui sont fonction de ces scénarios ; la différence essentielle entre sondages politiques et modèles climatiques est que les scénarios changent quasiment tous les jours quand on est dans un processus électoral, alors que les scénarios utilisés pour les modèles climatiques sont beaucoup plus pérennes, on ne les change pas souvent et ils restent valables assez longtemps.

L'exemple le plus caractéristique est le « cas Fillon ».

En décembre 2016 Fillon était aux alentours des 30% d'intentions de vote, mais ça c'était avant l'« affaire Pénélope » révélée le 24 janvier 2017. A partir de cette date Fillon a irrémédiablement chuté dans les sondages, avec quelques petites reprises sans importance, pour en arriver à environ une vingtaine de % à la veille du premier tour ; il y a donc eu un scénario « avant l'affaire » et plusieurs scénarios « après l'affaire ».

Voyons plus en détail avec les chiffres fournis par wikipedia :
  • Résultats premier tour :
    • Macron : 24,01%
    • Le Pen : 21,30%
    • Fillon : 20,01%
    • Mélenchon : 19,58%
  • Sondage Odoxa du 21 avril :
    • Macron : 24,50%
    • Le Pen : 23,00%
    • Fillon : 19,00%
    • Mélenchon : 19,00%
  •  Sondage IFOP du 30 mars :
    • Macron : 26,00%
    • Le Pen : 25,50%
    • Fillon : 17,00%
    • Mélenchon : 15,00%
  •  Sondage IFOP fin novembre 2016 :
    • Fillon : 28%
    • Le Pen 24%
    • Macron : 15%
    • Mélenchon : 11%
    • Valls : 10%
Il y a plusieurs constatations que l'on peut faire en regardant ces résultats de sondages et en les comparant aux résultats finaux :
  • Sans l'« affaire Pénélope » ce ne serait pas Macron notre actuel président, mais Fillon !
  • Le sondage de novembre 2016 a été effectué avant que Valls ne soit éliminé de la primaire de la Gauche ; à cette époque il faisait jeu égal avec Mélenchon, ce que fera également Hamon après avoir été choisi, mais avant de dégringoler au profit essentiellement de Mélenchon ce qui explique en grande partie la remontée de celui-ci par la suite ;
  • En novembre Macron était très loin de Fillon et Le Pen, et on ne voit pas trop par quel miracle, en sachant ce que l'on sait maintenant, comment il aurait pu passer devant l'un des deux s'il n'y avait pas eu l'« affaire Pénélope ».
A la lecture de ces différents sondages on ne peut que constater qu'ils ont reflété assez fidèlement l'évolution de la campagne avec ses diverses péripéties.

Les sondages politiques ne sont donc rien d'autre que la photographie de l'opinion à un instant donné, avec une marge d'erreur compréhensible étant donné que les calculs sont basés sur un échantillon de la population avec toutes les incertitudes que cela comporte.

Il ne faut donc pas vouloir faire dire aux sondages ce qu'ils ne peuvent pas prévoir.

Pour terminer voici la définition la plus précise que l'on puisse trouver du mot projection, dans le cadre qui nous intéresse ici, elle émane du site cnrtl :
  • 4. STAT. ,,Extrapolation temporelle d'une tendance observée sur un intervalle de temps, conduisant à une estimation de la valeur future de la variable`` (Éduc. 1979).
    ♦ Projection démographique. ,,Opération mentale par laquelle, à partir de l'état et des tendances d'une population actuelle, on estime l'effectif de cette population dans un avenir donné`` (Foulq. Sc. soc. 1978).
    ♦ Projection économique. ,,Représentation prospective ou précision de l'état économique, qui, dans un avenir déterminé et compte tenu des changements que l'on peut imaginer, résultera probablement des conditions actuelles`` (Foulq. Sc. soc. 1978). La commission de la sidérurgie, par exemple, établit ses prévisions non par projection ou estimation de la tendance, mais par addition des programmes réels des entreprises (Reynaud, Syndic. en Fr.,1963, p.238).
Il serait toutefois utile que ce site rajoute un alinéa concernant les projections issues des sondages politiques.

*****

Liens utiles :



à

2 commentaires:

  1. Anonyme21 mai 2017 à 00:39

    Comparer les sondages qui ne reflètent que ce que des personnes veulent bien dire (ce qui n'est pas forcément la vérité) avec les projections des modèles climatiques qui sont basés sur des équations mathématiques il faut le faire.

    RépondreSupprimer
    Réponses
    1. Géd21 mai 2017 à 01:07

      Et pourtant...

      Et pourtant dans le cas présent les sondages ont plutôt donné des résultats assez proches de la réalité.

      Vous avez peut-être un peu trop confiance dans les équations mathématiques et pas assez dans la connaissance qu'ont certaines personnes de la psychologie humaine.

      Ce que les personnes qui sont sondées veulent bien dire est quelque fois différent de la réalité, mais c'est l'exception qui confirme la règle qui veut que tout sondé dit en principe la vérité ; par ailleurs les sondeurs effectuent des ajustements pour corriger ces biais.

      Ils peuvent évidemment se tromper, et on leur saute facilement dessus quand ils se trompent, en oubliant toutes les fois où ils ont vu juste.

      Supprimer