Ta confiance ne dit rien, sauf si tu la mesures

Deux médecins regardent la même radio. Le premier dit : « c'est probablement bénin ». Le second dit : « il y a environ 85 % de chances que ce soit bénin ». Les deux phrases décrivent la même impression. Une seule peut avoir tort.

C'est toute la différence, et elle est plus grande qu'elle n'en a l'air. « Probablement » ne peut pas être démenti : si la chose arrive, on avait raison, si elle n'arrive pas, on avait dit probablement, pas certainement. Le mot est une assurance tous risques contre la honte. Un chiffre, lui, s'expose. Et c'est précisément cette exposition qui permet d'apprendre.

Ce que veut dire être bien calibré

Un décideur est bien calibré quand les choses qu'il annonce à 70 % se produisent environ sept fois sur dix. Rien de plus. C'est une propriété statistique de tes annonces, pas une qualité morale, et elle se mesure dès qu'on dispose d'une trentaine de prévisions résolues.

Note bien qu'être calibré n'est pas la même chose qu'avoir souvent raison. On peut savoir énormément de choses et être mal calibré, en annonçant 95 % pour des événements qui se produisent deux fois sur trois. C'est même le profil le plus courant chez les experts, et il a une conséquence directe : leurs recommandations sont exactes, mais leurs marges de sécurité sont trop minces.

L'inverse existe aussi. Quelqu'un qui répondrait 50 % à toutes les questions binaires serait parfaitement calibré et parfaitement inutile. La calibration seule ne suffit donc pas : il faut aussi de la résolution, c'est-à-dire oser s'éloigner de 50 % quand on sait quelque chose. Un bon jugement, ce sont les deux ensemble : des annonces tranchées, et tenues.

À quel point on se surestime

La mesure classique consiste à demander des intervalles. « Donne-moi une fourchette telle que tu sois sûr à 98 % que la vraie valeur est dedans. » Une personne bien calibrée devrait se tromper deux fois sur cent. En pratique, sur des décennies d'expériences, les gens se trompent plutôt quatre fois sur dix.

Autrement dit, quand tu dis « je suis certain à 98 % », tu es en train de dire quelque chose qui vaut à peu près 60 %. Ce n'est pas un défaut de caractère, c'est la configuration d'usine. Et elle ne s'améliore pas toute seule avec l'expérience, parce que rien dans une vie professionnelle normale ne te renvoie l'information.

Pourquoi les mots ne suffisent pas

En 1951, un rapport du renseignement américain estimait qu'une attaque soviétique contre la Yougoslavie constituait une « sérieuse possibilité ». Sherman Kent, qui dirigeait l'analyse, a eu la curiosité de demander à ses collègues ce que l'expression signifiait pour eux, en pourcentage. Les réponses allaient de 20 à 80 %.

Tout le monde était d'accord sur la phrase. Personne n'était d'accord sur ce qu'elle disait. C'est le problème de fond du vocabulaire de l'incertitude : « possible », « probable », « vraisemblable », « il y a un risque » sont des mots dont chacun règle silencieusement le curseur à sa façon. Une organisation entière peut ainsi croire partager une évaluation alors qu'elle partage seulement un adjectif.

Un chiffre peut être discuté, corrigé, comparé. Un adverbe ne peut être qu'interprété.

Comment on se calibre

La bonne nouvelle, c'est que la calibration est la compétence du jugement qui répond le plus vite à l'entraînement. Dans les grands tournois de prévision des années 2010, une formation d'environ une heure suffisait à réduire de façon mesurable et durable l'erreur des participants. Une heure.

Ce qui marche tient en trois habitudes.

1. Remplace les adverbes par des nombres. À chaque fois que tu t'entends dire « probablement », arrête-toi et pose un chiffre. Les premières fois, tu auras l'impression d'une fausse précision. C'est l'inverse : tu viens simplement de rendre visible une imprécision qui existait déjà.
2. Écris-les quelque part, avec une date. Une prévision non écrite sera réécrite par ta mémoire, et toujours dans le sens qui t'arrange. Ce n'est pas de la malhonnêteté, c'est le fonctionnement normal du souvenir.
3. Reviens dessus par paquets. Ne juge jamais une prévision isolée : une annonce à 90 % qui rate n'est pas une erreur, elle est même attendue une fois sur dix. Regarde tes vingt dernières annonces à 90 % et compte. C'est le seul niveau où la calibration existe.

Le bénéfice inattendu

On imagine que se calibrer sert à mieux prévoir. C'est vrai, et c'est le plus petit des bénéfices.

Le vrai gain est ailleurs : chiffrer sa confiance change la conversation. Dans une réunion où chacun dit « je pense que ça va marcher », il n'y a rien à débattre, seulement des convictions qui s'entrechoquent. Dans une réunion où l'un dit 80 % et l'autre 40 %, il y a soudain un objet précis : d'où vient l'écart, quelle information l'un a-t-il que l'autre n'a pas, et que faudrait-il apprendre pour les rapprocher ? Le désaccord devient exploitable.

Et six mois plus tard, quand le réel a tranché, personne ne peut plus prétendre qu'il l'avait senti venir.