Prédictions politiques : pourquoi 88 % de réussite ne prouve pas grand-chose

La transparence est réelle, la mesure reste incomplète

11 septembre 2026. Le Devoir porte aujourd’hui à l’attention du public une initiative plutôt salutaire : Rafael Jacob a mis en ligne, en août 2026, un inventaire de ses prédictions politiques formulées depuis 2024. Son site donne le texte de chaque prévision, le média, la date, un degré de confiance — « modéré » ou « élevé » — et, lorsque l’issue est jugée connue, un verdict. C’est davantage que l’amnésie ordinaire des plateaux, où l’assurance est souvent archivée moins longtemps qu’un appel à communications.

Prenons donc l’argument dans sa version la plus forte. Le projet affirme que la crédibilité attachée à une plateforme médiatique doit pouvoir être testée. Selon Le Devoir le 11 septembre 2026, son auteur recense 73 prédictions pour 2024 et en juge 88 % avérées. Pour 2025, le tableau primaire affiche 51 prévisions : 38 avérées, soit 75 % du total, 2 erronées et 11 encore incertaines. L’effort est vérifiable entrée par entrée et expose même les erreurs. Il mérite d’être imité.

Mais le 88 % ne permet pas encore de conclure que les prévisions sont bonnes. Un taux brut additionne des objets de difficulté, d’horizon et de précision différents. En 1950 déjà, le météorologue Glenn Brier proposait de vérifier les prévisions exprimées en probabilités : une prévision se juge aussi par la probabilité annoncée, pas seulement par une coche après coup. Ce n’est pas la première fois que l’on découvre qu’un tableau transparent peut reposer sur des conventions insuffisantes; notre analyse des infrastructures de la science ouverte rencontrait le même problème de méthode.

Un bon résultat n’est pas encore une compétence démontrée

Le premier obstacle est l’effet de composition : le résultat global change lorsque le mélange des observations change, même si la qualité de chacune ne bouge pas. Le registre place ainsi dans une même colonne une affirmation très probable — le Canada ne deviendra pas le 51e État — et des appels électoraux prononcés pendant la soirée du 6 novembre 2024, alors que des résultats entraient déjà. Une prévision à long terme et une estimation en cours d’événement ne constituent pas le même test.

Le deuxième obstacle est la calibration, c’est-à-dire l’accord entre le degré de confiance annoncé et la fréquence observée. Si cent événements dits probables à 70 % surviennent environ soixante-dix fois, la série est calibrée. Or les catégories « modéré » et « élevé » ne sont pas converties en probabilités numériques. On ne peut donc pas vérifier si l’assurance exprimée correspond à la fréquence des succès. L’article de Tilmann Gneiting et Adrian Raftery, publié en mars 2007 dans le Journal of the American Statistical Association, rappelle précisément que les règles de score probabilistes évaluent la prévision et l’événement réalisé, tout en encourageant l’annonce honnête de l’incertitude.

Troisième obstacle : le registre ne publie pas, pour chaque entrée, une règle de résolution fixée avant l’échéance. Des énoncés comme « rien de majeur » ou « dans le court terme » peuvent être intellectuellement utiles à l’antenne, mais leur verdict dépend d’un jugement. Enfin, aucun point de comparaison n’est fourni. Réussir souvent des événements très probables peut être moins informatif que battre systématiquement une prévision naïve fondée sur le statu quo. Notre retour sur les contrôles fédéraux des salaires et des prix le montrait autrement : sans période et référence communes, l’après ne prouve pas la cause.

Les médias peuvent imposer un protocole simple

La bonne réponse n’est pas d’interdire les prédictions. Elle consiste à séparer trois activités : expliquer un mécanisme, décrire plusieurs scénarios et annoncer une prévision testable. Un analyste peut être excellent dans les deux premières sans jouer au devin; inversement, une intuition juste ne transforme pas automatiquement son raisonnement en analyse solide.

Pour les prévisions explicites, les médias pourraient enregistrer cinq éléments au moment de la diffusion : une question binaire ou mesurable, une échéance absolue, une probabilité numérique, le lien vers l’extrait original et une règle de résolution reposant sur une source désignée. Le registre devrait être figé, horodaté et audité par une personne qui n’a pas formulé la prévision. Les prévisions non résolues resteraient visibles sans être silencieusement comptées comme des succès ou des échecs.

Le score devrait ensuite être publié avec la composition de l’échantillon : sujet, horizon, moment de diffusion et niveau de difficulté. Une règle de score dite propre — elle récompense l’annonce sincère de la probabilité réellement estimée — permettrait de comparer les analystes à un repère commun, par exemple le taux historique de l’événement ou le consensus disponible au même moment. Le pourcentage de réussites pourrait rester, parce que tout le monde le comprend, mais pas régner seul comme un petit mandarin statistique.

Cette exigence concerne autant la couverture de la culture médiatique que celle de la politique. Le projet rendu visible le 11 septembre 2026 ouvre la bonne porte : conserver la trace. Il faut maintenant franchir la suivante : publier une méthode qui permette au public de reproduire le jugement, plutôt que de lui demander de croire le total.