Ce qui s'entraîne vraiment

La question paraît naïve et elle ne l'est pas : est-ce que bien juger est un talent, comme l'oreille absolue, ou une compétence, comme le solfège ? Pendant longtemps la réponse n'était pas mesurée, elle était supposée, et l'intuition générale penchait vers le talent. On disait de quelqu'un qu'il avait du flair, et l'affaire était close.

Depuis, quarante ans de travaux ont produit une réponse, et elle est nettement plus intéressante que « ça se travaille ».

D'abord, la mauvaise nouvelle

Dans les années quatre-vingt, Philip Tetlock a lancé une étude qui allait durer près de vingt ans. Il a recruté plusieurs centaines d'experts, des vrais : universitaires, analystes, conseillers de gouvernements, tous reconnus dans leur domaine. Il leur a demandé des prévisions précises sur des questions relevant de leur spécialité, avec des probabilités et des échéances. Puis il a attendu.

Le résultat, publié en 2005, est resté célèbre pour une raison simple : la performance moyenne de ces experts était à peine meilleure que le hasard. Sur des questions à trois issues, ils ne battaient pas de beaucoup une répartition uniforme. Pire, une corrélation ressortait clairement : plus un expert était médiatisé, moins il était exact.

L'explication tenait à un style de pensée, que Tetlock a décrit avec la vieille métaphore du hérisson et du renard. Le hérisson sait une grande chose et ramène tout à elle : il est cohérent, il fait de bons plateaux de télévision, il est confiant. Le renard sait beaucoup de petites choses, emprunte à plusieurs cadres, hésite, nuance. Le renard prévoyait mieux. Le hérisson passait à la radio.

Ensuite, la bonne

Vingt ans plus tard, une agence de recherche du renseignement américain a organisé un tournoi de prévision ouvert, sur des questions géopolitiques réelles, avec des milliers de volontaires notés à la probabilité près. C'est de là que vient l'essentiel de ce qu'on sait aujourd'hui.

Trois résultats en sont sortis, et chacun compte.

Premièrement, certains volontaires battaient les autres de manière persistante d'une année sur l'autre. C'est le résultat décisif, plus que les scores eux-mêmes. Un bon score sur une saison peut être de la chance ; un bon score reproduit l'année suivante ne peut pas l'être. La persistance est ce qui transforme une observation en compétence.

Deuxièmement, un entraînement court fonctionnait. Une formation d'environ une heure, portant essentiellement sur la calibration et les taux de base, réduisait de façon mesurable et durable l'erreur des participants. Pas un stage de trois jours : une heure.

Troisièmement, les meilleurs n'étaient pas ceux qu'on croyait. Ni les plus diplômés, ni les mieux informés. Certains n'avaient aucune formation en relations internationales.

Ce qui s'entraîne, précisément

Le tri est net, et il vaut la peine d'être détaillé, parce que la plupart des efforts d'amélioration du jugement portent sur les mauvaises variables.

La granularité

La plupart des gens pensent l'incertitude en trois niveaux : ça va probablement arriver, je ne sais pas, ça n'arrivera probablement pas. Les meilleurs prévisionnistes utilisent une échelle beaucoup plus fine, par pas de cinq points, et la distinction entre 60 % et 65 % n'est pas cosmétique chez eux : elle est prédictive. C'est mesurable, et c'est un des écarts les plus nets entre les bons et les très bons.

La révision par petits pas

Deux erreurs symétriques existent. Ne jamais bouger malgré les nouvelles, et sauter d'un extrême à l'autre à la première information marquante. Les meilleurs font autre chose : ils bougent souvent, de peu. Une nouvelle qui vaut cinq points de probabilité déplace de cinq points, pas de trente. Cette habitude est rare parce qu'elle est socialement coûteuse : changer d'avis souvent passe pour de l'indécision.

La décomposition

Face à une question massive, la découper en sous-questions estimables séparément. Combien de clients ce marché compte-t-il, quelle part est accessible, à quel prix, avec quel taux de renouvellement. Chaque estimation est mauvaise, et l'agrégation est bien meilleure que l'intuition globale, parce que les erreurs indépendantes se compensent en partie. C'est le raisonnement dit de Fermi, et c'est probablement la technique la plus rentable à l'heure passée.

L'équilibre entre les deux vues

Commencer par le taux de base, puis ajuster avec les détails du cas. Presque tout le monde fait l'inverse, en partant du cas et en n'allant jamais chercher la fréquence.

Ce qui ne s'entraîne pas, ou pas comme ça

Lire davantage d'actualité n'améliore pas les prévisions, et au-delà d'un certain seuil les dégrade, parce que le volume d'information nourrit surtout la confiance. L'expertise du domaine aide beaucoup moins qu'on ne le croit : elle fournit du contexte, elle fournit aussi un attachement aux thèses qu'on a défendues en public. Quant à l'intelligence brute, elle compte, mais nettement moins que l'habitude de réviser.

Il y a une raison profonde à tout cela, et elle vaut plus que la liste. Ces trois choses augmentent ta capacité à produire des arguments. Or produire des arguments n'est pas le goulot d'étranglement : ton cerveau en fabrique déjà autant que nécessaire, principalement dans la direction qui t'arrange. Le goulot, c'est le retour du réel. Sans lui, dix ans d'expérience ne sont pas dix ans d'apprentissage, ce sont dix ans de répétition.

Le protocole minimal

Si tu ne devais garder qu'une pratique, ce serait celle-ci, et elle prend dix minutes par jour.

1. Choisis une question dont la réponse tombera dans un délai connu.
2. Écris ta probabilité, par pas de cinq points, et la date.
3. Écris en une ligne ce qui te ferait changer d'avis.
4. Quand la réponse tombe, note-la sans commentaire, surtout sans explication.
5. Tous les trente cas, regarde tes annonces à 70 % et compte combien se sont réalisées.

La cinquième étape est la seule qui produise l'apprentissage, et c'est celle que tout le monde saute. Les quatre premières sont un effort ; la cinquième est un moment désagréable. C'est aussi le seul moment où tu apprends quelque chose que tu ne savais pas déjà sur toi.