L’actualité éclairée par les données et la scienceUn chiffre vu sur les réseaux vous intrigue ? On le vérifieChaque chiffre avec sa source et ses limites

Le dictionnaire des chiffres

Évaluer une preuve

Niveaux de preuve

Toutes les informations ne se valent pas : un témoignage, une statistique officielle et une expérimentation ne permettent pas d’affirmer la même chose.

Ça permet de direSavoir à quel point on peut se fier à une affirmation, et pour quel usage.
Ça ne permet pas de direQu’une information est vraie ou fausse à 100 % : on parle de degrés de confiance.
La question à se poserSur quel type d’information repose cette affirmation ?
DécrireCombien d’élèves par classe ? Combien coûte un élève ? Les statistiques officielles (recensements, données administratives de la , de l’) sont la meilleure source : elles portent sur tous les élèves ou sur un échantillon représentatif, avec des règles publiques.
ExpliquerEst-ce que réduire la taille des classes améliore les résultats ? Là, compter ne suffit plus : il faut des études capables d’isoler une cause. C’est l’échelle ci-dessous.

L’échelle des preuves, de la plus solide à la plus fragile

  1. Très forte
    Synthèse de nombreuses étudesMéta-analyses, revues systématiques.
    On peut en conclureCe que dit l’ensemble de la recherche sur une question.
  2. Forte
    Expérimentation avec tirage au sortEssais randomisés : un groupe teste un dispositif, un groupe témoin non.
    On peut en conclureQu’un dispositif a probablement un effet, dans ce contexte.
  3. Moyenne
    Comparaison « presque expérimentale »Avant/après avec groupe de comparaison, effets de seuil, réformes qui touchent certains élèves et pas d’autres.
    On peut en conclureUn effet probable, si les groupes comparés se ressemblent vraiment.
  4. Limitée
    Lien observé dans une enquêteEnquêtes représentatives comme , corrélations, régressions.
    On peut en conclureQue deux choses vont ensemble, pas que l’une cause l’autre.
  5. Faible
    Étude de cas, observation localeUne école, une classe, un dispositif suivi de près.
    On peut en conclureDes pistes à explorer ; difficile à généraliser.
  6. Très faible
    Témoignage, opinion, chiffre sans sourceAnecdote, ressenti, sondage en ligne, chiffre qui circule sur les réseaux.
    On peut en conclureRien de général. Utile pour illustrer ou poser une question.

Ce qui fait monter la confiance

  • Source identifiée et méthode publiée
  • Grand échantillon représentatif
  • Résultat confirmé par d’autres équipes
  • Étude relue par des pairs
  • Données téléchargeables, calcul reproductible

Ce qui la fait baisser

  • Chiffre sans source ni date
  • Une seule étude, sur peu de personnes
  • Résultat obtenu dans un autre pays ou un autre contexte
  • Auteur ou financeur intéressé au résultat
  • Corrélation présentée comme une cause

Vrai, faux… ou entre les deux

Une information n’est presque jamais vraie ou fausse à 100 %. Nous parlons de degrés de confiance, du plus sûr au moins sûr :

  1. Solidement établiPlusieurs sources solides et indépendantes concordent.
  2. ProbableDe bonnes données vont dans ce sens, avec quelques incertitudes.
  3. IncertainLes données manquent ou se contredisent.
  4. Peu probableLes données disponibles vont plutôt dans l’autre sens.
  5. ContreditDes données solides montrent le contraire.

Dans Décrypter l’actualité, ces degrés de confiance se traduisent en verdicts : Exact, À nuancer, Trompeur, Inexact ou Non vérifiable.

Voir aussi