En clair
Imaginez un concours de cuisine avec dix mille plats à goûter. Aucun jury humain ne peut suivre. On engage donc un dégustateur infatigable qui goûte tout, remplit une fiche de notation et rend son verdict en quelques secondes. Le LLM-as-a-judge, c’est ce dégustateur : un modèle de langage à qui l’on fournit la question, la réponse à évaluer et des critères, et qui renvoie une note ou désigne la meilleure de deux réponses.
Le procédé est devenu courant parce que beaucoup de tâches confiées à l’IA n’ont pas de réponse unique vérifiable : un résumé, un courriel, un plan d’action. Un test automatique classique ne sait pas dire si un résumé est fidèle et clair ; un humain le sait, mais lentement et cher. Le juge automatique se place entre les deux.
Mais un dégustateur a ses goûts. Un juge automatique peut préférer la réponse présentée en premier, la plus longue, ou celle qui ressemble à ce qu’il écrirait lui-même. Il faut donc le traiter comme un instrument de mesure : l’étalonner sur des cas notés par des humains avant de lui faire confiance.
Un exemple
Le service client d’une mutuelle teste un assistant qui rédige des réponses aux réclamations. Chaque semaine, une nouvelle version du prompt doit être comparée à l’ancienne sur cinq cents réclamations réelles anonymisées. Plutôt que de mobiliser des conseillers pendant des jours, l’équipe fait noter chaque réponse par un modèle juge, sur une grille de quatre critères : exactitude au regard du contrat, ton, complétude, respect des mentions obligatoires.
Avant de s’y fier, elle fait noter cent réponses à la fois par le juge et par trois conseillers expérimentés, et vérifie que les verdicts concordent. Elle présente chaque paire dans les deux ordres pour neutraliser l’effet de position, et garde un échantillon tiré au hasard relu par des humains chaque semaine. Les réponses où le juge hésite partent en relecture humaine.
Comment ça marche
L’expression s’impose en 2023 avec l’étude de Zheng et ses coauteurs, publiée à NeurIPS : sur les questions de MT-Bench et les duels de Chatbot Arena, GPT-4 utilisé comme juge s’accorde avec les préférences humaines dans plus de 80 % des cas, soit autant que deux humains entre eux 1. La même étude identifie les biais principaux : biais de position, préférence pour les réponses longues, tendance à favoriser ses propres réponses et capacités de raisonnement limitées 1. Quelques semaines plus tôt, G-Eval proposait de faire raisonner GPT-4 étape par étape avant de remplir une fiche de notation, avec une corrélation de Spearman de 0,514 avec les jugements humains sur des résumés, et signalait déjà un possible biais en faveur des textes générés par des modèles 3.
- Définir la grilleOn écrit les critères de notation et l’échelle, avec des exemples de bonnes et de mauvaises réponses.
- ÉtalonnerOn compare les verdicts du juge à ceux d’humains sur un échantillon, et l’on corrige la consigne jusqu’à un accord suffisant.
- NoterLe juge reçoit la question, la ou les réponses et la grille, puis rend une note ou une préférence argumentée.
- ContrôlerOn neutralise les biais connus (ordre inversé, longueur) et l’on fait relire par des humains un échantillon et les cas douteux.
Le biais de position peut être spectaculaire : en inversant simplement l’ordre de deux réponses, Wang et ses coauteurs font gagner Vicuna-13B contre ChatGPT sur 66 des 80 questions testées, ChatGPT servant de juge 2. Les parades sont connues : présenter chaque paire dans les deux ordres et agréger, demander au juge d’argumenter avant de trancher, et renvoyer aux humains les cas où les verdicts divergent 2. On distingue trois formats : la note absolue sur une échelle, la comparaison par paires et le verdict par rapport à une réponse de référence. Une revue de 2024 recense aussi les juges spécialisés, entraînés pour cette seule tâche, et les méthodes pour mesurer la fiabilité d’un juge 4.
Le LLM-as-a-judge n’est pas un benchmark : un benchmark est un jeu de tâches et un protocole de mesure, alors que le juge est une manière de noter, qu’un benchmark peut employer pour ses tâches ouvertes ou qu’une entreprise peut utiliser sur ses propres données. Il se distingue aussi du moniteur LLM, qui surveille en continu les actions d’un agent pour bloquer un comportement dangereux, et de la boucle de critique et révision, où le modèle relit son propre travail pour l’améliorer plutôt que pour le noter.
Ce que ça change pour une entreprise
Pour l’entreprise, le juge automatique rend possible ce qui ne l’était pas : évaluer chaque nouvelle version d’un assistant sur des centaines de cas en quelques heures, suivre la qualité en production, comparer deux fournisseurs sur ses propres données. Le coût se compte en appels au modèle juge, très inférieur à des journées de relecture humaine. C’est souvent la seule façon réaliste de tester des tâches ouvertes comme la rédaction ou la synthèse 4.
Le risque est de prendre la note pour la vérité. Un juge mal étalonné peut récompenser la longueur ou le style plutôt que l’exactitude 1, et un juge de la même famille que le modèle évalué peut le favoriser. Si l’on optimise un système contre un juge, le système finit par apprendre à plaire au juge. Il faut donc garder une part de relecture humaine, mesurer régulièrement l’accord entre le juge et les experts, et ne jamais laisser le juge seul décider d’un sujet réglementaire ou contractuel.
Idées reçues
- « Un modèle juge est objectif, puisqu’il n’a pas d’opinion. »
Il a des biais mesurables : il peut favoriser la réponse présentée en premier, la plus longue ou la sienne [1]. Inverser l’ordre suffit parfois à changer le gagnant [2].
- « Si le juge est d’accord avec les humains sur un test public, il le sera sur mes données. »
L’accord dépend de la tâche et de la grille. Il faut l’étalonner sur un échantillon de ses propres cas notés par des experts.
- « LLM-as-a-judge et benchmark, c’est la même chose. »
Le benchmark est un jeu de tâches avec un protocole ; le juge est une façon de noter les réponses, qu’un benchmark peut utiliser ou non.