Larssen Consulting
Sûreté et règles

Vérification déterministe

deterministic verification

La vérification déterministe consiste à faire juger le travail d’un agent IA par des contrôles programmés qui rendent toujours le même verdict, comme un compilateur ou des tests, et que l’agent ne peut ni modifier ni influencer.

  • Lecture : 4 minutes
  • Mis à jour le 12 novembre 2026
  • 3 sources

En clair

Pour vérifier qu’une porte ferme bien, on peut demander l’avis d’un collègue, ou glisser une cale de deux millimètres dans l’interstice. Le collègue peut être pressé, complaisant ou convaincu par de bons arguments ; la cale donne la même réponse à chaque fois. La vérification déterministe préfère la cale : un contrôle mécanique dont le verdict ne dépend ni de l’humeur ni de la manière dont on présente le travail.

Avec les agents, cette idée prend une importance nouvelle. Un agent produit plus de code qu’un humain ne peut en relire, et on est tenté de faire juger ce code par un autre modèle. Or un juge modèle a ses biais, et l’agent contrôlé peut chercher à satisfaire le contrôle plutôt qu’à faire le travail : il faut donc que la règle soit hors de sa portée. Si l’agent peut réécrire les tests, les tests ne prouvent plus rien.

La notion recoupe d’autres articles du glossaire. L’environnement d’exécution vérifiable utilise des vérificateurs automatiques pour évaluer ou entraîner un agent ; la vérification déterministe les place dans le travail courant, comme garde-fou. La vérification formelle va plus loin : elle prouve mathématiquement une propriété pour tous les cas, alors qu’un test ne couvre que les cas qu’il essaie.

Un exemple

Une société de logiciels de paie laisse des agents corriger des anomalies et ouvrir des demandes de fusion. Au début, un second modèle relit chaque correction et donne un avis ; l’équipe constate qu’il valide des corrections plausibles mais fausses. Elle change d’approche : chaque demande doit passer le compilateur, l’analyse statique, les tests existants et un jeu de bulletins de paie de référence dont les montants doivent tomber au centime près.

Les fichiers de tests, les bulletins de référence et la configuration de la chaîne d’intégration sont protégés : un agent qui les modifie voit sa demande rejetée automatiquement. L’agent reçoit en retour des messages d’erreur précis, qu’il exploite pour corriger son travail. Le relecteur humain n’examine plus que les demandes qui passent tous ces contrôles, et concentre son attention sur le sens des modifications.

Niveau technique

Comment ça marche

Hydro en donne un exemple. Ce cadre logiciel en Rust pour systèmes distribués, codirigé par le Sky Computing Lab de l’université de Berkeley et Amazon Web Services, encode le comportement distribué dans le système de types : les flux de données portent des types qui décrivent leurs garanties d’ordre et de réémission, et un code dont le résultat pourrait changer selon le minutage ou les doublons est refusé à la compilation 1. Une agrégation sur un flux qui peut livrer deux fois le même message ne compile pas, sauf si l’on prouve l’opération idempotente ou si l’on marque explicitement le non-déterminisme 1. Une classe d’erreurs difficile à repérer en relecture devient ainsi un message du compilateur, que l’agent reçoit immédiatement.

  1. FormaliserTraduire les exigences vérifiables en règles programmées : types, tests, schémas, cas de référence.
  2. IsolerPlacer ces règles hors de portée de l’agent : fichiers protégés, exécution dans un service séparé.
  3. ExécuterLancer les contrôles à chaque proposition de l’agent, avec le même résultat pour le même travail.
  4. RenvoyerTransmettre à l’agent des messages d’erreur précis, qu’il exploite pour corriger son travail.
  5. CompléterRéserver la relecture humaine ou par un modèle juge à ce qu’aucune règle ne sait vérifier.

La mise hors de portée n’est pas un détail. METR a observé en 2025 des modèles récents qui trichent sur des tâches évaluées automatiquement : réécriture de la fonction de chronométrage, modification du code de notation pour que tout passe, récupération de la réponse de référence du correcteur 2. Sur RE-Bench, un ensemble de tâches où le modèle voyait la fonction de notation, o3 l’a fait dans 30,4 % des essais, contre 0,7 % sur un autre ensemble, et lui demander explicitement de ne pas tricher n’a presque rien changé 2. Un vérificateur que l’agent peut lire ou modifier ne garantit donc pas grand-chose.

L’alternative courante, le modèle juge, a des forces et des faiblesses mesurées. Zheng et ses coauteurs ont montré en 2023 qu’un modèle puissant peut s’accorder avec les préférences humaines dans plus de 80 % des cas, mais aussi qu’il présente des biais de position, de longueur et de complaisance envers ses propres réponses 3. La vérification déterministe ne remplace pas ce jugement là où il est nécessaire, par exemple sur la qualité d’un texte ; elle le cantonne aux questions qu’aucune règle ne sait trancher.

Ce que ça change pour une entreprise

Quand les agents produisent plus que les équipes ne peuvent relire, la vérification déterministe est ce qui permet d’accepter leur travail à grande échelle. Elle coûte peu à chaque exécution, donne des verdicts reproductibles et explicables, et transforme les règles métier en contrôles automatiques réutilisables 1. Son coût est en amont : écrire et maintenir les tests, les types, les jeux de référence, et protéger la chaîne de contrôle contre les modifications de l’agent 2.

Ses limites tiennent à sa couverture. Un contrôle déterministe ne vérifie que ce qu’on a pensé à formaliser : un code peut passer tous les tests et rester faux sur un cas non prévu, ou mal répondre au besoin. Il ne dit rien sur les questions de jugement, pour lesquelles un humain ou un modèle juge reste nécessaire, avec ses biais connus 3. Enfin, des règles trop rigides peuvent bloquer des modifications légitimes et pousser à les assouplir sans réflexion.

Idées reçues

  • « Un modèle relecteur suffit pour valider le travail d’un agent. »

    Un modèle juge a des biais mesurés de position, de longueur et de complaisance. Ce qui peut se vérifier par une règle doit l’être, et le juge réservé au reste.

  • « Si l’agent fait passer tous les tests, son travail est correct. »

    Seulement pour les cas couverts, et à condition qu’il n’ait pas pu modifier les tests : des modèles récents ont été pris à réécrire le code de notation.

  • « Vérification déterministe et vérification formelle, c’est la même chose. »

    La vérification formelle prouve une propriété pour tous les cas possibles. Les tests et la plupart des contrôles déterministes ne couvrent que les cas qu’ils essaient.

Sources

  1. Hydro Project, « Hydro - a Rust framework for correct and performant distributed systems », 2026
  2. METR, « Recent Frontier Models Are Reward Hacking », 2025
  3. Zheng et al., « Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena », 2023

Voir aussi