Chers lecteurs, on vous manipule !
Vu la semaine dernière une production intitulée 6 chiffres clés sur les seniors et l’argent. En lisant la production, je me rends compte d’un certain nombre d’erreurs. Des erreurs bêtes de données, mais surtout des erreurs d’interprétations. Comme si la personne qui avait compilé ces chiffres ne comprenait pas ce qu’elle écrivait !
Je le signale à l’auteur, avec mon tact habituel, qui me répond par une émoticône “baillement”.
Puis, quelques minutes après un second comparse me sort :
un chiffre est irréfutable
je suis docteur donc j’ai raison
c’est publié dans le parisien donc c’est vrai
(est-ce qu’on ne tiendrait pas là un vrai boomer… faites le test ! ) →
Du coup, j’ai repris la production point par point et montrer que sur les 6 slides d’informations 5 comportaient au moins une erreur factuelle ou interprétative.
Je vous laisse juger par vous-même : (cliquez sur l’image !)
Pourquoi j’ai fait ça ? Et pourquoi je vous le raconte ?
Ce n’est pas pour prouver que je suis plus intelligent qu’eux, ce n’est pas le cas et ces erreurs n’enlèvent rien à leurs parcours et à tout ce qu’ils ont accompli.
Ce n’est pas non plus au nom de la vérité ! Je ne suis pas un fact checkeur. Je sais très bien qu’on peut tous faire des erreurs.
J’ai réagi parce que je trouve insupportable la réaction des deux comparses. Insupportable parce qu’ils assument de se servir de données chiffrées comme d’une arme de manipulation massive au service de leur propre intérêt. Insupportable parce qu’ils font ça sous couvert de la “science”. Insupportable parce que les arguments d’autorités cherchent à couper court à toutes réflexions !
Et bien sûr après publication de ma “correction”, l’auteur qui me bloque purement et simplement, après suppression de mon commentaire “correctif” !
Et celui qui hier se mettait à ma disposition pour me présenter toutes les données n’est aujourd’hui plus disponible…
C’est bien dommage parce que son étude avait l’air intéressante…
Baromètre du bien vieillir à domicile
Pour la troisième année consécutive, deux acteurs de la silver éco produisent une étude intitulée le baromètre du bien vieillir chez soi (la fameuse étude publiée 3 fois dans le parisien, qui comme chacun le sait est ce qui se fait de mieux en matière de publication scientifique ! - bon promis j’arrête de me moquer des boomers).
Le baromètre répond à une question essentielle, et qui me touche particulièrement, combien ça coute de vieillir chez soi. Donc à priori je suis plutôt client de ce genre d’étude.
Maintenant,
Petit guide d’esprit critique face à un chiffre.
1. Commanditaire - Qui est le producteur du chiffre ?
Ici en l’occurence des personnes qui vendent des services pour “bien vieillir chez soi”.
Je sais ce que vous allez dire, “on ne peut pas faire confiance à Pfizer pour évaluer l’efficacité des produits Pfizer”.
Au risque de vous surprendre, ça ne me dérange pas que ce soit des acteurs privés qui financent cette étude.
Déjà parce que personne d’autre ne le ferait, et qu’en le faisant peut être que des acteurs publics s’en empareront.
Ensuite, évidemment qu’ils y ont un intérêt, mais ça ne veut pas dire que la connaissance qu’ils apportent est invalide.
En revanche, c’est nécessaire de le savoir pour ne pas accorder une confiance aveugle à cette étude.
2. Méthode - Comment sont construites les données ?
Pour les non initiés, sachez que les données n’existent pas, elles sont construites.
La manière de poser la question ? Le choix de modalités offert ? La sélection des questions ? Le choix (ou le non-choix) des personnes interrogées ? Etc. font que deux études sur le même sujet peut donner des résultats différents. Voire contradictoire.
C’est pour cela qu’un des critères de scientificité est la reproductibilité des résultats. Et donc la transparence de la méthode.
Il n’y a pas de bonne ou de mauvaises méthodes, juste des méthodes qui ne disent pas la même chose.
Par exemple, ici la méthode consiste à analyser le prix de 25 services pour seniors en demandant des devis aux différents prestataires de ces services. Ce qui va déterminer si c’est une bonne ou une mauvaise méthode c’est l’objectif de ce qu’on souhaite montrer par cette méthode.
Si l’on souhaite mesurer l’évolution de ces services année après année, demander des devis est intéressant. C’est d’ailleurs une méthodologie similaire qu’on utilise pour mesurer l’inflation.
En revanche, si on veut savoir combien ça coute de bien vieillir chez soi, il faudrait plutôt définir plusieurs groupes de seniors qui vieillissent plus ou moins bien et analyser leurs consommations respectives pour identifier dans celle-ci, les achats qui sont susceptibles d’expliquer de telles différences.
3. Interprétation - Quel sens est donné aux résultats ?
Troisième élément de vigilance, l’interprétation ! Et là ça se complique, car les producteurs de chiffres vont vous faire croire qu’il n’y a pas d’interprétation possible, que les chiffres parlent d’eux même.
C’est par exemple le cas là, où l’on passe subtilement d’une analyse du prix de 25 produits pour seniors (sans qu’on sache comment ils ont été choisis, dans quelle mesure ils impactent le vieillissement et si tous ont le même impact, etc.) à “combien ça coute de bien vieillir chez soi”.
C’est une interprétation.
Une mauvaise interprétation je vous l’accorde, mais comme elle est chiffrée, elle n’alerte personne, au contraire, elle a eu un certain succès sur les réseaux et en presse écrite comme nous le rappelle notre deuxième protagoniste.
Pire, cette étude sous-entend que bien vieillir n’est qu’une question de consommation !
Je voudrais pas faire mon altermondialiste du dimanche -de toute façon je jouerais très mal le rôle même si j’ai été à bonne école en fac de socio !- mais là ça se voit qu’ils veulent davantage nous vendre leur soupe que d’alerter sur les difficultés d’accès à des services permettant de mieux vivre vieux.
bref, ne vous laissez pas endormir par des arguments d’autorités et développer votre esprit critique
Si l’argument le plus fort c’est un argument de statut (docteur, professeur, etc.) méfiez-vous !
Un chiffre n’est pas irréfutable, d’autant plus quand il est sorti de son contexte et qu’on ne sait pas comment il a été produit.
Ce n’est pas parce que c’est sur internet ou dans un journal que c’est vrai → d’ailleurs j’avais déjà fait un post à ce sujet !
L’important ce n’est pas les chiffres c’est le sens que vous leur donnez.
A bientôt,
Antoine
PS : Ça me fait penser à une conférence qu’on avait fait au printemps dernier sur les sondages dans laquelle nous dévoilions les procédés utilisés pour nous manipuler. Et à cette fin nous faisions passer un sondage en début de conférences aux participants et montrions comment nous avons fait pour orienter les résultats. Si ça intéresse quelqu’un qu’on la refasse dans sa structure…
ah, je sais qui est ton interlocuteur. Je le reconnais à sa façon condescendante de te répondre !
Enfin une véritable information. Merci pour ce travail remarquable et rare