mardi 25 septembre 2018

Comment trafiquer un graphique ?

Benoit Rittaud devrait prendre des leçons, car il a un sérieux concurrent avec le dénommé Ron Clutz qui se livre à un magistral exercice d'enfumage dans un billet intitulé Arctic Ice Made Simple dans son blog sobrement appelé Science Matters (que l'on peut traduire soit par « la science compte » ou bien par « histoires de science » ou quelque chose comme ça)

Dans son billet Clutz nous montre un graphique censé « démontrer » que la banquise arctique a cessé de se réduire depuis plus d'une décennie :

Données NOAA à la sauce Ron Clutz.
Et de conclure par :
Some complain it is too soon to say Arctic Ice is recovering, or that 2007 is a true change point. The same people were quick to jump on a declining period after 1994 as evidence of a “Death Spiral.”
Certains se plaignent qu'il est trop tôt pour dire que la banquise arctique se rétablit ou que 2007 est un véritable point de changement. Les mêmes personnes ont rapidement sauté sur une période de déclin après 1994 en tant que preuve d'une « spirale de la mort ».
Mais heureusement Tamino veille au grain et détecte immédiatement l'arnaque dans son billet Arctic Sea Ice for Suckers: Ron Clutz shows how to Hide the Decline dans lequel il démonte le subterfuge en plusieurs mouvements ; faut-il rappeler que la spécialisation de Tamino ce sont les statistiques, donc « on ne la lui fait pas » !

Après avoir montré le graphique incriminé, Tamino fait remarquer que les barres verticales sont les valeurs annuelles et la ligne rouge l'idée que Clutz se fait de la tendance ; il note ensuite que le graphique de Clutz est « épouvantable » (dreadful), car en effet il utilise la technique fallacieuse favorite des climatosceptiques qui n'ont pas beaucoup d'arguments à présenter, à savoir commencer l'axe des ordonnées (l'axe vertical) par la valeur 0 (zéro) ce qui a immanquablement pour effet de ratatiner la partie intéressante à analyser et la faire ressembler à une pente presque plate, comme j'avais montré dans Apprenons avec Benoit Rittaud comment manipuler des chiffres et truquer des graphiques.

Tamino nous donne alors l'explication fournie par Ron Clutz pour illustrer son graphique déficient :
There was a small loss of ice extent over the first 15 years, then a dramatic downturn for 13 years, 6 times the rate as before. That was followed by the current plateau with virtually no further loss of ice extent. All the fuss is over that middle period, and we know what caused it. A lot of multi-year ice was flushed out through the Fram Strait, leaving behind more easily melted younger ice. The effects from that natural occurrence bottomed out in 2007.
Il y a eu une légère perte d'étendue de glace au cours des 15 premières années, puis une baisse spectaculaire pendant 13 ans, soit six fois le taux précédent. Cela a été suivi par le plateau actuel avec pratiquement plus de perte d'étendue de glace. Tout le monde parle de cette période et nous savons ce qui l’a causé. Une grande quantité de glace de plusieurs années a été évacuée par le détroit de Fram, laissant derrière elle de la glace plus jeune et plus facilement fondue. Les effets de cette occurrence naturelle ont atteint leur plus bas niveau en 2007.

Donc Clutz a repéré trois périodes que Tamino commentera plus loin, pour l'instant il nous montre la façon correcte de représenter l'évolution de la banquise arctique avec ce graphique :

Moyenne annuelle de la surface de la banquise arctique.
On voit tout de suite la différence, mais ce n'est pas tout.

Tamino, rappelons-le encore, est un statisticien, il sait donc faire une courbe de tendance à partir d'un graphique, ce qu'il nous montre ici :

Moyenne annuelle de la surface de la banquise arctique avec courbe de tendance.

Pour les spécialistes, Tamino utilise la méthode LOWESS (locally weighted scatterplot smoothing), je leur laisse le soin d'éventuellement la contester s'ils en ont les moyens.

Et vient maintenant le bonus, Tamino reconstituant à partir de sa courbe le cheminement de pensée (vérolée) de Ron Clutz :

Moyenne annuelle de la surface de la banquise arctique avec « courbe » de tendance à la sauce Ron Clutz. 

Ainsi Clutz a partagé la tendance en trois parties :

De 1979 à 1994, sans utiliser la régression linéaire par les moindres carrés ou autre méthode sensée, mais simplement en joignant le point initial au point final, c'est-à-dire en ignorant tout bonnement tout ce qu'il y a entre ces deux points !

De 1994 à 2007, avec une baisse spectaculaire dans le graphique de Clutz que Tamino juge...stupide ! En effet, sur les 12 (douze) valeurs incluses entre ces deux dates, 11 (onze) sont...au-dessus de la tendance représentée par Clutz ! Pour Tamino Clutz a choisi à dessein le point final le plus bas possible afin de faire croire à cette fumeuse « baisse spectaculaire ».

De 2007 à 2017, en commençant ainsi par un point « le plus bas possible » il est aisé de représenter une ligne presque plate allant jusqu'en 2017 !

Cette façon de faire nous rappelle bien évidemment Christopher Monckton et son pitoyable plateau des températures commençant pas très loin d'un fort épisode El Niño afin d'aplatir le plus possible la courbe, nous sommes bien en pays de connaissance.

Pour finir Tamino nous montre sur un graphique unique les deux courbes, la sienne (i.e. la bonne) et celle de Clutz (la mensongère) :

Comparaison des deux tendances.

Et voici, encore plus explicite, la comparaison des deux courbes estimées en taux de variation :

Comparaison des taux de variation estimés, avec l'écart type (standard deviation) de la courbe correcte.

Et pour enfoncer le clou Tamino montre que lui aussi peut « jouer » avec les tendances en choisissant d'autres points et donc d'autres périodes pour donner ceci :

La courbe de Clutz confrontée à une autre méthode de cherry-picking (en rouge)

Enfin Tamino nous donne une liste non limitative des gens auxquels il vaut mieux ne pas faire confiance quand ils vous présentent des graphiques :
Anyone can make mistakes. For example, Roy Spencer made a doozy of a mistake some time ago, but when I called him out on it he did not insist that his bonehead mistake was correct. As far as I know, he hasn’t mentioned it since, and I suspect that’s because he knows — and admitted to himself — that it was wrong. But too many others, like Ron Clutz and Cliff Mass and Anthony Watts and Christopher Monckton etc. etc. etc., will put out ideas that are so idiotic they’re embarrassing but refuse to admit error even when it’s proved. You can’t reason with those people.
Tout le monde peut faire des erreurs. Par exemple, Roy Spencer a commis une grave erreur il y a quelque temps, mais quand je le lui ai fait remarquer, il n'a pas insisté en disant que son erreur idiote était correcte. Pour autant que je sache, il ne l’a pas mentionné depuis, et je pense que c’est parce qu’il sait - et a admis lui-même - que c’était faux. Mais trop d’autres, comme Ron Clutz et Cliff Mass et Anthony Watts et Christopher Monckton, etc., etc., vont émettre des idées tellement idiotes qu’elles en sont embarrassantes, mais refusent d’admettre leur erreur, même quand elle est démontrée. Vous ne pouvez pas raisonner avec ces gens.

Comme par hasard je mentionne les blogs de Roy Spencer, Cliff Mass et Anthony Watts, dans le bandeau de droite de mon site, sous la catégorie « à consulter à ses risques et périls », maintenant vous savez pourquoi.

Apparemment Clutz consulte le blog de Tamino ou a été informé par un admirateur, car il ajoute la mise à jour suivante :
Oh the irony! Tamino accuses me of emulating Michael Mann and “hiding the decline” of sea ice, as opposed to temperatures. In that case, where is my Nobel Prize?
But my humble efforts to tell the truth pale in comparison with Mann’s campaign to erase the medieval warm period. His temperature trickery is described in Rise and Fall of the Modern Warming Spike
Oh l'ironie! Tamino m'accuse d'imiter Michael Mann et de « cacher le déclin » de la glace de mer, contrairement aux températures. Dans ce cas, où est mon prix Nobel?
Mais mes humbles efforts pour dire la vérité pâlissent en comparaison avec la campagne de Mann visant à effacer la période chaude médiévale. Sa ruse de température est décrite dans Rise and Fall of the Warming Spike

Evidemment Tamino n'a jamais dans son billet accusé Clutz d'imiter Michael Mann, car celui-ci n'a jamais tenté de truquer ses courbes, qui étaient certes imparfaites quand il les a publiées au début, mais qu'il a améliorées sans vraiment en changer la forme générale ; ses courbes ont d'ailleurs été validées par d'autres équipes indépendantes utilisant d'autres méthodes et arrivant peu ou prou aux mêmes conclusions.

Nous sommes ici en présence d'une véritable attaque ad hominen, c'est-à-dire portant sur une personne, Michael Mann, sans aucun argument à faire valoir.

Et quand on va voir l'article auquel Clutz fait référence cela en devient pathétique, on a mal pour lui et on présenterait presque ses condoléances à sa famille pour la perte d'un cerveau qui aurait pu servir la science et qui préfère ramper dans la boue.

Saurez-vous reconnaitre Ron Clutz sur la photo (l'autre est le valet de chambre de Christopher Monckton) ?


Aucun commentaire:

Enregistrer un commentaire