Le même modèle, la même épreuve, 37 points d'écart : les benchmarks IA sont incomparables

Deux scores MMLU portent le même nom et ne se soustraient pas l'un à l'autre. Un vérificateur formel répond « incomparable ». Et sur ARC-AGI-3, GPT-6 Astra fait 62,7 % ou 99,9 % selon qu'on utilise le harnais officiel ou celui du fournisseur. Le chiffre que vous lisez est peut-être exact. Il n'est juste pas comparable à celui d'hier.

Le chiffre de ce matin

Commençons par le cas le plus violent, parce qu'il ne laisse aucune échappatoire.

GPT-6 Astra, le modèle star d'OpenAI, passe l'épreuve ARC-AGI-3. Résultat : 62,7 %. Ou 99,9 %. Le même modèle, la même épreuve. La différence ? Le harnais. Frandroid a décortiqué le mécanisme en septembre : avec le harnais standard de la fondation ARC Prize, le modèle choisit lui-même ce qu'il retient d'un tour à l'autre. Avec le harnais fournisseur, on conserve le raisonnement caché entre les requêtes et on compacte le contexte. Trente-sept points d'écart. Gratuits.

OpenAI, de son côté, a communiqué 98,6 %, obtenus sur sa propre API, hors harnais officiel. Chacun mesure ce qu'il veut bien mesurer.

Et ce n'est pas gratuit, au sens propre. Le même article chiffre le coût : 26 000 dollars de calcul pour un passage d'Astra en harnais standard, 19 000 avec l'autre. Comparer des benchmarks, c'est aussi comparer des budgets.

Deux MMLU, zéro soustraction

Voilà l'affaire du jour, venue d'un fil Hacker News à deux points et d'un article signé d'un ingénieur système, Dmitrii Zatona. Le cas est minuscule. C'est justement ce qui le rend accablant.

Deux mesures MMLU valides. Publiées sous le même nom de benchmark, avec les mêmes identifiants de métrique. L'une donne 0,781 pour un build, l'autre 0,790 pour un autre build de la même famille de modèles. Neuf dixièmes de point d'écart. On devrait pouvoir faire une soustraction.

Sauf que non. Zatona a passé les deux mesures dans un vérificateur formel. Réponse : relation_outcome: incomparable. Pas « 0,9 point d'écart ». « Incomparable ». La machine refuse de soustraire.

Pourquoi ? Parce que le nom « MMLU » ne fixe rien. Il ne fixe que l'étiquette. Derrière, cinq variables restent ouvertes.

Le même nom, cinq variables

MMLU, « Measuring Massive Multitask Language Understanding », est né en 2020 : 57 matières, des questions à quatre choix. Pendant cinq ans, c'est devenu le chiffre le plus cité de la communication IA. Et c'est précisément pour ça que le problème est énorme.

Première variable : le découpage. Le papier d'origine décrit environ 15 908 questions. Le jeu de données que chargent réellement les harnais, cais/mmlu, en contient 14 042 en test, 1 531 en validation, 285 en développement. Trente-sept questions d'écart entre le papier et le dataset. Non documenté nulle part. Et dans le cas de Zatona, une des deux mesures portait sur le jeu de développement de 285 questions. Un choix légitime. Mais un choix.

Deuxième variable : l'implémentation. C'est le mieux documenté. En juin 2023, le blog Hugging Face publie un tableau comparant trois harnais sur le même MMLU en 5-shot. Pour llama-65b : 0,637 avec HELM, 0,488 avec le harnais EleutherAI, 0,636 avec le code d'origine. Pour falcon-40b : 0,571, 0,527, 0,558. Conséquence : le classement s'inverse. Falcon passe au-dessus de llama avec un harnais, en dessous avec les deux autres. Le même benchmark, deux gagnants différents.

Troisième variable : le format du prompt. Anthropic mesurait dès 2023 environ 5 % d'écart sur MMLU pour de simples changements de ponctuation. Des travaux cités vont jusqu'à 76 points.

Quatrième : le juge. Passer d'une correspondance exacte à un juge LLM change la nature de la mesure. Zheng et al. ont mesuré l'auto-cohérence : 65,0 % pour GPT-4, 46,2 % pour GPT-3.5, 23,8 % pour Claude-v1. Le juge fait le score.

Cinquième : ce que le harnais peut atteindre. Le CAISI américain a découvert après coup qu'il évaluait SWE-bench Verified avec accès à Internet, alors que d'autres non. Il l'a appris des transcriptions publiées par ses confrères, pas de la documentation.

Et en toile de fond, la donnée elle-même est pourrie. MMLU-Redux a ré-annoté 5 700 questions et estime que 6,49 % comportent des erreurs. L'étude « Evaluation Cards », elle, passe au crible 101 843 résultats publiés : 96,5 % manquent d'au moins un champ de reproductibilité. La température n'est renseignée que dans 6,1 % des cas. Elle documente même le cas extrême : un modèle noté 20,9 % par Hugging Face et 61,8 % par un second évaluateur, sur MMLU-Pro.

Quand le benchmark se fait rattraper