Larssen Consulting
Entraînement et mesure

Exécutabilité des préfixes

Prefix executability

L’exécutabilité des préfixes est une méthode d’évaluation des agents à outils qui contrôle la validité de chaque appel d’outil intermédiaire, et pas seulement la réussite finale de la tâche, afin de savoir si un succès apparent repose sur un parcours réellement exécutable.

  • Lecture : 4 minutes
  • Mis à jour le 12 novembre 2026
  • 3 sources

En clair

Un correcteur d’examen de mathématiques qui ne regarde que le résultat encadré en bas de la copie passe à côté de l’essentiel : l’élève a peut-être trouvé le bon chiffre par chance, après deux erreurs qui se sont compensées. Un bon correcteur lit le raisonnement ligne par ligne et note l’endroit où il déraille. L’exécutabilité des préfixes applique ce principe aux agents IA qui utilisent des outils.

Un agent accomplit une tâche en enchaînant des actions : chercher un client, lire sa commande, déclencher un remboursement. Le « préfixe », c’est le début de cette suite d’actions : la première, puis les deux premières, puis les trois premières, et ainsi de suite. Pour chacun, on se demande si tout ce qui a été fait jusque-là pouvait vraiment s’exécuter : le bon outil, les bons paramètres, une situation qui le permettait, des informations obtenues aux étapes précédentes.

On obtient ainsi deux renseignements que la note finale cache. D’abord, l’endroit exact où l’agent commet sa première action invalide. Ensuite, la part de ses réussites qui viennent d’un parcours propre et celle qui suit un rattrapage après une erreur. Deux agents qui réussissent aussi souvent l’un que l’autre peuvent ainsi se révéler très différents en fiabilité.

Un exemple

Une compagnie de transport teste deux agents candidats pour gérer les modifications de réservation. Sur le banc d’essai interne, ils affichent le même taux de réussite final. L’équipe rejoue leurs trajectoires étape par étape et constate que le second appelle souvent l’outil de modification avant d’avoir vérifié que le billet est modifiable, puis se rattrape quand le système renvoie une erreur.

Dans un environnement de test, ce rattrapage est sans conséquence. En production, ces appels prématurés peuvent déclencher des frais ou des messages envoyés aux clients. L’équipe retient le premier agent et ajoute au second une étape de vérification du plan avant toute action, puis mesure à nouveau la longueur moyenne de ses parcours valides.

Niveau technique

Comment ça marche

La notion est proposée fin octobre 2026 par Rezaeian et ses coauteurs dans un article intitulé « Prefix Executability: Evaluating Tool-Using Agents Beyond Final Success » 1. Leur constat : les bancs d’essai d’agents à outils notent le plus souvent la réussite finale, ce qui peut masquer si la suite d’appels intermédiaires était exécutable. Ils vérifient donc chaque préfixe de la séquence d’appels produite par l’agent au regard de trois contraintes : le schéma de l’outil, les préconditions sur l’état de l’environnement et les dépendances de données entre étapes 1.

  1. EnregistrerConserver la séquence complète des appels d’outils émis par l’agent pendant la tâche.
  2. RejouerVérifier chaque préfixe contre les schémas d’outils, les préconditions d’état et les dépendances de données.
  3. LocaliserNoter la position du premier appel invalide, ou l’absence d’erreur sur toute la trajectoire.
  4. AgrégerCalculer sur l’ensemble des essais la courbe de survie, le taux de trajectoires valides et le taux de récupération.
  5. ComparerMettre ces mesures en regard de la réussite finale pour classer les agents et diagnostiquer leurs défaillances.

Le protocole définit une famille de métriques. La profondeur de la première erreur (First-Error Depth) indique la position du premier appel invalide. La courbe d’exécutabilité des préfixes est une courbe de survie : la part des trajectoires encore valides à chaque profondeur. S’y ajoutent le taux de trajectoires entièrement exécutables, l’aire sous cette courbe normalisée par la longueur de la trajectoire, et le taux de récupération, qui mesure les réussites obtenues après une première erreur 1. Les auteurs l’appliquent à trois bancs d’essai, dont BFCL, référence pour l’évaluation des appels de fonctions 2, et ToolSandbox 3. Les classements fondés sur le seul résultat et ceux fondés sur les préfixes divergent : des agents qui exécutent un plan non vérifié affichent souvent une meilleure réussite finale, mais beaucoup moins de trajectoires entièrement exécutables. Une vérification explicite du plan avant exécution allonge les préfixes valides tout en gardant une réussite finale compétitive 1.

La méthode ne remplace pas la réussite finale : elle la complète 1. Elle se distingue aussi des évaluations par jalons, comme celles de ToolSandbox, qui vérifient que certaines étapes intermédiaires attendues ont bien été atteintes 3 : ici, on juge la faisabilité technique de chaque appel réellement émis, quel que soit le chemin choisi. Sa limite tient à ce qu’elle exige une description explicite des outils et de leurs préconditions ; un appel peut être exécutable sans être judicieux, ce que ces métriques ne mesurent pas.

Ce que ça change pour une entreprise

Pour une entreprise qui confie des actions réelles à des agents, la réussite finale ne suffit pas : un agent qui réussit après avoir tenté des opérations interdites ou prématurées peut, hors du banc d’essai, laisser des traces coûteuses. Mesurer l’exécutabilité des préfixes permet de choisir entre deux agents ou deux versions sur un critère de fiabilité, de savoir à quelle étape les erreurs apparaissent, et de vérifier qu’un garde-fou, comme le contrôle du plan avant exécution, améliore vraiment les choses 1.

Le coût est surtout un coût de préparation : il faut décrire précisément ses outils, leurs paramètres et leurs conditions d’emploi, et conserver les trajectoires complètes des agents, ce qui suppose une bonne observabilité. Ces descriptions doivent être tenues à jour quand les outils évoluent. Enfin, ces métriques disent si chaque action pouvait s’exécuter, pas si elle était pertinente ni sûre : elles s’ajoutent aux autres contrôles, dont la revue humaine des cas sensibles, sans les remplacer.

Idées reçues

  • « Si l’agent atteint le bon résultat, son parcours est forcément correct. »

    Non : une réussite peut suivre des appels invalides puis un rattrapage. C’est précisément ce que la réussite finale masque et que les préfixes révèlent [1].

  • « Deux agents au même taux de réussite se valent. »

    Les classements fondés sur le résultat et ceux fondés sur les préfixes peuvent diverger [1]. À réussite égale, l’un peut se tromper bien plus tôt et plus souvent que l’autre.

  • « Une trajectoire entièrement exécutable est une bonne trajectoire. »

    Exécutable signifie seulement que chaque appel respectait les règles des outils et l’état du système. Un appel valide peut rester inutile ou mal choisi.

Sources

  1. Rezaeian et al., « Prefix Executability: Evaluating Tool-Using Agents Beyond Final Success », 2026
  2. Patil et al., « The Berkeley Function Calling Leaderboard (BFCL): From Tool Use to Agentic Evaluation of Large Language Models », 2025
  3. Lu et al., « ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities », 2024

Voir aussi