Nous annonçons 80 % de réussite. Nous faisons 95,8 %, et c’est un défaut.
Sur chaque fiche de rencontre, nous publions une fourchette d’aces et nous annonçons qu’elle contient le résultat environ huit fois sur dix. Nous venons de mesurer ce qu’elle fait vraiment : 95,8 %. Ce n’est pas une bonne nouvelle, et voici pourquoi.
Le chiffre
Sur 13 262 prestations au service dont le résultat est connu, la fourchette que nous avions publiée avant le match contenait le nombre réel d’aces dans 95,8 % des cas. L’annonce faite au lecteur est de 80 %.
L’erreur absolue moyenne est de 2,84 aces, et le biais de −0,07 ace : le modèle ne penche ni vers le haut ni vers le bas, il se trompe symétriquement. C’est la seule bonne nouvelle de cette mesure.
Pourquoi dépasser sa promesse est un défaut
Une fourchette n’a qu’un seul usage : réduire l’incertitude. Dire « entre 3 et 18 aces » est vrai presque toujours, et ne sert à rien. Plus une fourchette est large, plus elle contient le résultat, et moins elle informe.
Annoncer 80 % et réaliser 95,8 %, c’est donc avouer que nos intervalles sont trop prudents de seize points. Nous payons cette prudence en précision : chaque point de couverture excédentaire est de la largeur que le lecteur n’a pas demandée.
Ce que ça ne veut pas dire
Cela ne veut pas dire que le modèle est mauvais. Sur les marchés de match, il désigne le vainqueur dans 62,5 % des cas sur 6 631 rencontres tranchées, et sa calibration ligne par ligne est serrée :
| Ligne de jeux | Annoncé | Observé | Écart |
|---|---|---|---|
| 20,5 | 66,1 % | 65,0 % | −1,1 pt |
| 22,5 | 51,8 % | 50,8 % | −1,0 pt |
| 24,5 | 46,0 % | 45,0 % | −1,0 pt |
| 26,5 | 41,1 % | 40,4 % | −0,8 pt |
| 28,5 | 33,4 % | 33,1 % | −0,3 pt |
| 30,5 | 24,4 % | 24,1 % | −0,3 pt |
Six lignes, six écarts inférieurs à 1,1 point, tous dans le même sens : le modèle est très légèrement optimiste, de manière constante. Un écart régulier se corrige ; un écart qui part dans tous les sens, non. Celui-ci est réparable.
Ce que nous allons faire, et ce que nous ne ferons pas
Resserrer les fourchettes jusqu’à retrouver les 80 % annoncés est la correction évidente. Nous ne la ferons pas d’un coup : une fourchette resserrée trop vite se mettrait à manquer le résultat une fois sur trois, et nous aurions échangé un défaut contre un pire.
Ce que nous ne ferons pas non plus : changer l’annonce pour qu’elle colle au résultat. Écrire « 95 % » parce que nous faisons 95 % reviendrait à qualifier un défaut de performance. La promesse reste 80 %, et c’est à l’outil de descendre vers elle.
La méthode, pour qui veut vérifier
Toutes les prédictions sont écrites avant le coup d’envoi et ne sont jamais réécrites : c’est le principe directeur de ce site. La mesure porte sur cinq saisons, de 2022 à 2026, et elle est recalculée à chaque exécution de notre suite de tests. Un chiffre publié ici est un chiffre rejouable.
Une précision honnête sur cette mesure : notre première tentative d’article, sur un autre sujet, a rendu un taux de réussite de 100 %. Un chiffre trop beau est un chiffre faux. Il l’était : le protocole laissait la rencontre à prédire dans les données servant à la prédire, et les données interrogées ne contenaient même pas l’information cherchée. Cet article existe parce que cette mesure-là a été jetée.
Voir le bilan complet du moteur, mis à jour à chaque rencontre.