En clair
Pour choisir un artisan, on ne regarde pas seulement la qualité de ses chantiers : on regarde aussi le devis. Deux plombiers qui réparent aussi bien la même fuite ne se valent pas si l’un facture trois fois plus d’heures que l’autre. Le coût par tâche applique ce bon sens à l’IA : pour chaque travail confié, il compte ce qu’il a fallu dépenser pour l’obtenir.
Avec une simple question à un assistant, la dépense est minime et facile à prévoir. Avec un agent, c’est différent : pour corriger un bogue ou traiter un dossier, il enchaîne des dizaines d’étapes, relit des fichiers, appelle des outils, se corrige. Chaque étape est facturée, et l’addition dépend autant de la façon dont l’agent travaille que du modèle qu’il utilise.
Le chiffre ne vaut rien seul. Un agent très bon marché qui échoue une fois sur deux coûte cher en reprises. Un agent qui gagne deux points de réussite en dépensant trois fois plus ne vaut pas forcément le surcoût. C’est le couple réussite et coût qui permet de décider.
Un exemple
Une équipe informatique veut confier à un agent de code la correction des petites anomalies signalées par les utilisateurs. Elle hésite entre deux outils qui s’appuient sur le même modèle. Plutôt que de se fier aux démonstrations, elle prend deux cents anomalies déjà corrigées par ses développeurs, les soumet aux deux outils, et fait tourner chaque essai trois fois.
Les taux de réussite sont presque identiques, et l’écart entre les deux outils est plus petit que l’écart entre deux passages du même outil. En revanche, l’un consomme près de trois fois plus de tokens par anomalie, parce qu’il renvoie au modèle de longues consignes à chaque étape. L’équipe retient le plus sobre et fixe un plafond de dépense par anomalie, au-delà duquel le ticket repasse à un développeur.
Comment ça marche
L’idée de mesurer ensemble précision et coût s’impose pour les agents en 2024, avec l’article « AI Agents That Matter » de Sayash Kapoor, Arvind Narayanan et leurs collègues de Princeton 1. Ils montrent que les évaluations d’agents doivent tenir compte du coût, faute de quoi on récompense des systèmes qui gagnent quelques points en multipliant les appels au modèle. Ils proposent de présenter les résultats comme une courbe précision-coût et d’optimiser les deux à la fois 1. Le Holistic Agent Leaderboard, de la même équipe, publie ainsi le coût en dollars à côté de chaque score ; sa campagne a représenté 21 730 exécutions d’agents, 9 modèles, 9 benchmarks et environ 40 000 dollars, avec des écarts de 13 à plus de 450 dollars par évaluation selon le benchmark 2.
- DéfinirChoisir un ensemble de tâches représentatives, avec un critère clair de réussite.
- ExécuterFaire traiter chaque tâche par l’agent, plusieurs fois, en enregistrant tous les appels au modèle.
- ValoriserConvertir les tokens d’entrée et de sortie consommés en euros ou en dollars, au tarif du fournisseur.
- RapporterCalculer le coût moyen par tâche et le placer en regard du taux de réussite.
Diviser la dépense totale par le nombre de tâches réussies donne le coût par tâche réussie, souvent plus parlant pour un responsable budgétaire.
Le calcul est simple dans son principe : on additionne les tokens d’entrée et de sortie de tous les appels faits pendant la tâche, on les valorise au tarif du fournisseur, puis on fait la moyenne sur un ensemble de tâches. Chez un agent, le poste dominant est souvent le contexte renvoyé à chaque étape. Une étude de l’université du Shandong, conduite par Yangze Liu et Zhongyi Han sur SWE-bench Verified, un jeu de 500 problèmes de code validés par des ingénieurs 3, a fait passer cinq modèles dans trois harness : à modèle, tâches et tarifs identiques, le coût par tâche varie jusqu’à un facteur 3, sans gain de précision mesurable 4. L’écart vient surtout du préambule que chaque harness renvoie à chaque étape, 16 581 tokens pour Claude Code contre 829 pour mini-SWE-agent, multiplié par le nombre d’étapes 4.
La mesure a ses pièges. Les résultats d’agents sont bruités : dix relances à l’identique d’une même configuration sur SWE-bench Verified font varier le score de 2,2 à 6 points, selon des travaux que citent Liu et Han, et sur les 45 tâches les plus difficiles, changer de harness fait basculer autant de tâches que relancer le même, 13 % en médiane 4. Il faut donc répéter les essais avant de conclure. Le coût par tâche dépend aussi des tarifs, qui changent, et de la mise en cache éventuelle des consignes. Enfin, il se distingue du prix par token, qui ne dit rien du nombre de tokens consommés, et du coût par tâche réussie, qui divise la dépense par le seul nombre de succès.
Ce que ça change pour une entreprise
Le coût par tâche transforme une facture opaque de tokens en une unité de gestion : le prix d’un ticket traité, d’un dossier analysé, d’un bogue corrigé. On peut alors le comparer au coût du même travail fait par une personne, fixer des plafonds, et arbitrer entre outils ou modèles. Les écarts sont importants : avec le même modèle, la seule façon dont l’agent est organisé peut tripler la dépense sans améliorer le résultat 4. Alléger les consignes et les descriptions d’outils envoyées à chaque étape est souvent le levier le moins cher.
La mesure demande un banc d’essai interne, des tâches représentatives et plusieurs passages, ce qui coûte lui-même du temps et des crédits ; évaluer des agents à grande échelle peut coûter des dizaines de milliers de dollars 2. Les chiffres publiés par les fournisseurs portent sur leurs propres benchmarks et ne se transposent pas tels quels à vos tâches. Le risque principal est de suivre un seul indicateur : optimiser le coût seul dégrade la qualité, viser la réussite seule laisse filer le budget.
Idées reçues
- « Le modèle le moins cher au token donne la tâche la moins chère. »
Un modèle bon marché qui fait plus d’étapes, relit plus de contexte ou échoue plus souvent peut coûter davantage par tâche menée à bien. C’est le total consommé qui compte.
- « Un agent plus élaboré réussit forcément mieux. »
Sur SWE-bench Verified, des harness très différents utilisant le même modèle obtiennent des scores proches, pour des coûts qui varient jusqu’à un facteur 3 [4].
- « Un seul essai suffit pour comparer deux agents. »
Relancer la même configuration fait varier le score de plusieurs points [4]. Sans essais répétés, on attribue au système un écart qui n’est que du bruit.