Comment lire une annonce de benchmark
ÉvaluationMéthodeDécisionTutoriel2025-07-0910 min
Un score annoncé répond à une question générale. Quatre questions le ramènent à votre situation, et le vident, la plupart du temps.
Ce qu'un classement mesure réellement
Un classement public mesure la performance moyenne sur un jeu de tâches choisi par quelqu'un d'autre, dans une langue qui n'est en général pas la vôtre. C'est utile pour suivre une tendance et sans valeur pour décider.
La confusion vient de la forme. Un score chiffré, un tableau, un classement : tout indique une mesure objective. Elle l'est, mais elle mesure autre chose que ce qui vous intéresse.
La question que pose un classement est « ce modèle est-il bon en général ». Celle que vous posez est « ce modèle traite-t-il correctement mes documents, dans ma langue, pour ma tâche, à un coût acceptable ». Les deux réponses ne coïncident pas.
Question un : sur quel jeu de tests
Un score n'a de sens que rapporté au jeu de tâches sur lequel il a été obtenu, et ce jeu est rarement représentatif d'un usage d'entreprise. C'est le premier filtre.
Les jeux d'évaluation publics portent majoritairement sur des problèmes de raisonnement, de code et de connaissance générale. Ils portent très peu sur ce qui compose l'essentiel du travail réel : extraire une information d'un document mal mis en page, classer une demande ambiguë, refuser une question hors périmètre.
S'ajoute un problème de contamination. Les jeux publics finissent par se retrouver dans les données d'entraînement, ce qui gonfle les scores sans amélioration correspondante. Un écart de deux points entre deux modèles n'a donc aucune signification pratique.
Ce constat justifie l'existence du jeu de tests maison, seul instrument qui réponde à votre question, le sujet de construire un jeu de tests en une journée.
Les trois autres questions
- Dans quelle langue ? Un modèle évalué en anglais peut perdre plusieurs points en français, particulièrement sur les formats de sortie contraints.
- À quel coût par appel ? Un gain de trois points pour un coût multiplié par dix n'est pas un progrès mais un arbitrage, et il se décide sur votre volume.
- Comparé à quelle version ? Une comparaison à une version antérieure d'un concurrent, ou à un réglage non optimisé, ne dit rien.
- Et une quatrième, implicite : qui a produit la mesure ? Un résultat publié par le fournisseur du modèle mérite une lecture différente d'un résultat indépendant.
Le piège du gain moyen sur les cas moyens
Une amélioration de score porte presque toujours sur les cas moyens, alors que les problèmes de production viennent des cas limites. C'est la raison pour laquelle une bascule décevante suit souvent une annonce enthousiasmante.
Un score moyen s'améliore en traitant mieux ce qui était déjà à peu près correct. Les cas véritablement difficiles, question mal formulée, document contradictoire, formulation inhabituelle, demande hors périmètre, progressent beaucoup plus lentement.
Or ce sont exactement ces cas qui produisent les incidents, les corrections manuelles et la perte de confiance des utilisateurs.
D'où la composition que je recommande pour un jeu de tests : un tiers de cas limites tirés des échecs réellement observés. C'est ce tiers qui prédit le comportement après bascule, et c'est lui qui manque dans tous les jeux d'évaluation publics.
Comment utiliser malgré tout ces annonces
Un classement sert à repérer les candidats à tester, jamais à trancher. C'est son bon usage, et il est réel.
Une annonce indique qu'un nouveau modèle mérite d'être ajouté à la comparaison trimestrielle. Elle ne dit pas qu'il faut basculer, ni même qu'il sera meilleur sur votre tâche.
La séquence saine tient en quatre étapes. Repérer le candidat dans l'annonce. L'ajouter comme option dans la couche d'abstraction. Relancer le jeu de tests. Comparer le taux d'erreur et le coût par appel.
Deux heures, une décision instruite. C'est infiniment plus rapide que la discussion d'opinion qui suit habituellement une annonce, et cela produit un résultat plutôt qu'un avis, la logique posée dans l'évaluation continue.
La phrase qui clôt le débat en réunion
« On l'ajoute au jeu de tests et on regarde jeudi. » Elle transforme une discussion sans issue en tâche de deux heures, et elle n'est possible que si le jeu de tests existe déjà.
Ce qu'il faut mesurer que personne ne publie
Le taux de refus approprié, la stabilité du format de sortie et le comportement sur documents mal mis en page ne figurent dans aucun classement, et ce sont les trois critères qui décident en production. Il faut donc les mesurer soi-même.
Le taux de refus approprié mesure si le modèle dit qu'il ne sait pas quand il ne sait pas. Un modèle qui invente est inutilisable quel que soit son score, le point développé dans le refus de répondre est une fonctionnalité.
La stabilité du format décide de la fiabilité d'une chaîne automatisée. Une sortie invalide une fois sur vingt casse le traitement, et cette fréquence n'apparaît dans aucune évaluation publique.
Le comportement sur documents dégradés, scans médiocres, mises en page complexes, tableaux, détermine la qualité perçue, parce que c'est sur ces documents que les utilisateurs butent.
Ces trois mesures s'ajoutent au jeu de tests une fois et servent ensuite indéfiniment.
Questions fréquentes
- Un écart de deux points entre deux modèles est-il significatif ?
Non. Les jeux d'évaluation publics finissent par se retrouver dans les données d'entraînement, ce qui gonfle les scores sans amélioration correspondante. Seul un jeu de tests maison tranche.
- Pourquoi une bascule déçoit-elle après une bonne annonce ?
Parce que l'amélioration porte sur les cas moyens, tandis que les problèmes de production viennent des cas limites, questions mal formulées, documents contradictoires, qui progressent beaucoup plus lentement.
- À quoi servent alors les classements ?
À repérer les candidats à tester. Une annonce justifie d'ajouter un modèle à la comparaison trimestrielle ; elle ne justifie jamais une bascule à elle seule.
- Quels critères ne sont jamais publiés ?
Le taux de refus approprié, la stabilité du format de sortie et le comportement sur documents mal mis en page. Ce sont pourtant les trois qui décident de l'utilisabilité en production.