En clair
Pensez à un détecteur de fumée. S’il sonne à chaque incendie, son rappel est parfait. S’il sonne aussi chaque fois qu’on fait griller du pain, sa précision est mauvaise, et l’on finit par lui retirer sa pile. Un bon détecteur ne rate pas les incendies et ne crie pas au loup : il faut regarder les deux chiffres ensemble.
Le piège le plus fréquent vient de la rareté des vrais cas. Quand ce qu’on cherche est rare, même un faible taux de fausses alertes produit beaucoup plus d’alertes injustifiées que de vraies. Prenons dix mille journaux d’activité dont cent seulement posent problème, et un détecteur qui en attrape 90 % tout en se trompant sur 5 % des journaux sains : il signale 90 vrais cas et environ 495 faux. Son rappel est de 90 %, mais sa précision tombe à environ 15 % : sur sept alertes, six sont fausses.
C’est pourquoi un chiffre isolé comme « détecte 98 % des cas » ne veut rien dire. Il faut toujours demander combien de fausses alertes l’accompagnent, et sur quelle proportion de vrais cas le test a été fait.
Un exemple
Une société de logiciels confie à un modèle de langage la relecture des journaux de ses agents de code, pour repérer ceux qui contournent les tests. Le fournisseur annonce un excellent taux de détection. Avant de déployer, l’équipe sécurité constitue un échantillon de deux mille journaux relus par des ingénieurs, dont une vingtaine de vrais contournements.
Le modèle les attrape presque tous, mais il signale aussi plus de deux cents journaux sains : la précision est d’environ un sur dix. Les ingénieurs ne pourront pas traiter ce volume. L’équipe relève le seuil d’alerte, accepte de rater quelques cas de plus, ajoute une seconde vérification sur les alertes et suit désormais trois chiffres chaque mois : rappel, précision et nombre d’alertes à traiter par jour.
Comment ça marche
Les deux mesures viennent de la recherche d’information, où l’on évalue un moteur de recherche : la précision est la proportion de documents pertinents parmi ceux qu’il propose, le rappel la proportion de documents pertinents qu’il retrouve parmi tous ceux qui existent 1. En statistique, la précision correspond à la valeur prédictive positive et le rappel à la sensibilité 1. On les résume souvent par la F-mesure, leur moyenne harmonique, qui ne devient bonne que si les deux le sont ; la variante pondérée F-bêta donne plus de poids à l’une ou à l’autre selon l’usage 2.
- Constituer un jeu étiquetéOn réunit des cas dont on connaît la bonne réponse, avec une proportion de vrais cas proche de la réalité.
- CompterOn classe chaque verdict en vrai positif, faux positif, vrai négatif ou faux négatif.
- CalculerLe rappel rapporte les vrais positifs à tous les vrais cas, la précision les rapporte à toutes les alertes.
- Régler le seuilOn choisit le point d’équilibre selon le coût d’un cas raté et celui d’une fausse alerte.
Les deux chiffres dépendent du seuil de décision : on trace la courbe précision-rappel en faisant varier ce seuil 2, et l’abaisser fait en général monter le rappel et baisser la précision. Sur des données déséquilibrées, où les vrais cas sont rares, la courbe ROC, qui croise taux de détection et taux de faux positifs, peut donner une image trop optimiste ; Saito et Rehmsmeier montrent en 2015 que la courbe précision-rappel décrit plus fidèlement la performance réelle dans ce cas 3.
La question est centrale pour la surveillance des agents par des modèles de langage. Le jeu de données MALT du METR, publié en 2025, réunit 10 919 journaux d’agents, dont 103 cas de reward hacking non provoqués ; les meilleurs moniteurs y détectent environ 87 % des cas de reward hacking quand on fixe leur taux de faux positifs à 5 % 4. Le METR précise que de bons résultats sur ce jeu ne suffisent pas à garantir la détection des risques réels 4. Comme dans l’exemple du détecteur de fumée, un taux de faux positifs de 5 % reste lourd si les vrais cas sont rares dans la production.
Ce que ça change pour une entreprise
Pour l’entreprise, ces deux chiffres traduisent des coûts concrets. Un rappel insuffisant laisse passer des fraudes, des erreurs ou des comportements dangereux d’un agent. Une précision insuffisante noie les équipes sous les alertes, qu’elles finissent par ignorer, ce qui annule l’intérêt du dispositif. Le bon réglage dépend de ce que coûte chaque type d’erreur : rater une fraude n’a pas le même prix que vérifier un dossier sain.
Face à un fournisseur, il faut exiger les deux chiffres, mesurés sur des données dont la proportion de vrais cas ressemble à la sienne, et demander la courbe précision-rappel plutôt qu’un score unique 3. Un taux de détection annoncé sans taux de fausses alertes, ou mesuré sur un jeu de test équilibré moitié-moitié, peut être sans rapport avec ce que l’outil donnera en production 4.
Idées reçues
- « Un détecteur qui trouve 98 % des cas est excellent. »
Pas forcément : s’il déclenche aussi beaucoup de fausses alertes, l’essentiel de ce qu’il signale peut être faux. Il faut connaître sa précision.
- « 5 % de faux positifs, c’est négligeable. »
Quand les vrais cas sont rares, 5 % des cas sains peut représenter bien plus d’alertes que de vrais problèmes.
- « On peut améliorer la précision et le rappel en même temps en réglant le seuil. »
Le seuil arbitre entre les deux : il fait monter l’un en faisant baisser l’autre. Seul un meilleur détecteur améliore les deux.
Sources
- Wikipédia, « Précision et rappel »
- scikit-learn, « Metrics and scoring: quantifying the quality of predictions », documentation officielle
- Saito et Rehmsmeier, « The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets », 2015
- Parikh et Wijk (METR), « MALT: A Dataset of Natural and Prompted Behaviors That Threaten Eval Integrity », 2025