En clair
Pour juger un devoir de dissertation, il suffit de lire la copie. Pour juger la rénovation d’une cuisine, lire la facture ne suffit pas : l’expert ouvre les placards, fait couler l’eau, vérifie les prises. Les IA qui travaillent en autonomie produisent de plus en plus des livrables du second type : un programme, un tableur, une présentation, un dossier de plusieurs fichiers. Les noter demande de les manipuler.
Le juge agentique est cet expert qui se déplace. C’est lui-même un agent : il reçoit la consigne d’origine et une grille de critères, puis il ouvre les fichiers, lance le code, affiche les pages, recalcule les formules. Pour chaque critère, il répond oui ou non et justifie sa décision. Un simple juge IA, lui, ne voit que le texte qu’on lui présente.
Cette méthode ne remplace pas les experts humains, elle prend le relais quand le volume devient trop grand pour eux. Les humains écrivent la grille, puis vérifient sur un échantillon que le juge automatique tombe d’accord avec eux. Tant que cet accord n’est pas mesuré, la note du juge reste une opinion.
Un exemple
Une direction financière teste plusieurs agents IA chargés de préparer le rapport mensuel : un classeur de calcul, des graphiques et une note de synthèse. Relire chaque dossier à la main prend une demi-journée à un contrôleur de gestion, impossible à répéter pour chaque version d’agent. L’équipe écrit une grille d’une quarantaine de critères vérifiables : totaux cohérents, formules sans valeurs saisies en dur, graphiques lisibles, chiffres de la note identiques à ceux du classeur.
Un juge agentique, fondé sur le modèle d’un autre fournisseur que celui des agents testés, ouvre chaque dossier et coche les critères en justifiant ses choix. Sur trente dossiers, les contrôleurs de gestion notent en parallèle et comparent : là où le juge s’écarte d’eux, la grille est précisée. Une fois l’accord jugé suffisant, le juge note automatiquement chaque nouvelle version, et les humains ne revoient plus qu’un échantillon.
Comment ça marche
L’idée de faire noter un modèle par un autre est popularisée en 2023 par Lianmin Zheng et ses coauteurs : ils montrent que des juges puissants comme GPT-4 s’accordent avec les préférences humaines dans plus de 80 % des cas, autant que les humains entre eux, mais relèvent des biais de position, de longueur et de complaisance envers soi-même 1. Ce juge ne lit toutefois qu’une réponse finale. En octobre 2024, l’équipe de Mingchen Zhuge propose le cadre « Agent-as-a-Judge », présenté comme une extension du précédent : un système agentique évalue un autre système agentique et peut commenter tout le processus de résolution, pas seulement le résultat 2.
- GrilleDes experts rédigent pour chaque tâche une liste de critères vérifiables, chacun tranché par oui ou par non.
- ExplorationLe juge ouvre les livrables avec ses outils : il lit les fichiers, exécute le code, affiche les documents et recalcule les formules.
- VerdictPour chaque critère, le juge décide s’il est rempli et justifie sa réponse par ce qu’il a constaté.
- CalibrageDes experts notent un échantillon en parallèle ; le taux d’accord indique si l’on peut se fier au juge.
Le calibrage se refait à chaque changement important de grille, de tâches ou de modèle juge.
Pour le démontrer, les auteurs créent DevAI, 55 tâches réalistes de développement en IA annotées de 365 exigences hiérarchisées, et évaluent trois agents de programmation à code ouvert 2. Leur juge agentique s’accorde avec l’évaluation humaine dans environ 90 % des cas, contre environ 70 % pour un juge IA classique, pour un coût d’une trentaine de dollars, une petite fraction de celui d’une évaluation par des experts 2. Le benchmark MKA, présenté en novembre 2026 par Google DeepMind et Artificial Analysis, illustre l’usage à grande échelle : 200 tâches professionnelles notées sur environ 70 critères, par un juge agentique fondé sur un modèle d’un autre fournisseur que Google, qui ouvre les fichiers, affiche les pages et contrôle les formules des tableurs ; les experts ont confirmé son verdict dans 96 % des cas 3.
Les limites restent celles des juges IA : le juge peut se tromper, être sensible à la formulation des critères ou favoriser les productions proches de son propre style, d’où l’intérêt d’un modèle d’un fournisseur différent de celui évalué. Il coûte aussi davantage qu’un juge simple, car il effectue de nombreuses actions par livrable. Le benchmark fournit les tâches et la règle de notation ; le juge agentique est l’un des moyens d’appliquer cette règle.
Ce que ça change pour une entreprise
Le juge agentique rend possible l’évaluation régulière d’agents qui produisent des livrables complexes : comparer plusieurs fournisseurs, vérifier qu’une nouvelle version ne régresse pas, surveiller la qualité en production. Ce qui demandait des jours d’experts peut tourner chaque nuit. Pour un dirigeant, c’est aussi une grille de lecture des classements publiés : une note obtenue par un juge automatique ne vaut que par le taux d’accord mesuré avec des humains, comme les 96 % annoncés pour MKA 3.
Le coût n’est pas nul : le juge consomme lui-même des ressources de calcul à chaque évaluation, et la grille demande du temps d’experts métier pour être rédigée puis ajustée. Les risques tiennent à la confiance aveugle : un juge mal calibré peut valider des erreurs à grande échelle, ou être contourné par un agent qui apprend à satisfaire les critères sans faire le travail. Les bonnes pratiques : choisir un juge d’un autre fournisseur que l’agent évalué, garder un contrôle humain par échantillon et réserver les décisions sensibles à des personnes.
Idées reçues
- « Un juge agentique, c’est un juge IA un peu plus cher. »
La différence est de nature : il agit sur les livrables, en exécutant et en inspectant, au lieu de lire une réponse. Sur des tâches de développement, cela a nettement amélioré l’accord avec les humains [2].
- « Si le juge est d’accord avec les experts à 96 %, on peut se passer des experts. »
Cet accord est mesuré sur un ensemble de tâches et une grille donnés. Il faut des experts pour écrire la grille et pour vérifier que l’accord tient quand les tâches changent.
- « Un modèle peut très bien noter son propre travail. »
Les juges IA ont tendance à favoriser leurs propres réponses [1]. C’est pourquoi on recourt de préférence à un juge fondé sur un autre modèle, comme dans MKA [3].