En clair
Pensez à la boîte noire d’un avion. Quand tout va bien, personne ne la consulte. Mais en cas d’incident, elle permet de savoir ce que l’équipage a vu, décidé et fait, minute par minute. L’observabilité joue ce rôle pour un agent d’IA. Un agent ne se contente pas de répondre : il lit des documents, interroge des logiciels, confie des sous-tâches à d’autres agents et revient parfois sur ses pas. Si l’on ne voit que le résultat final, on ignore tout du chemin.
L’idée est donc d’enregistrer chaque étape, de l’étiqueter et de la rattacher à la même mission grâce à un identifiant commun, comme un numéro de dossier qui suit un colis d’entrepôt en entrepôt. On peut alors relire le parcours, repérer l’étape où l’agent s’est trompé, mesurer ce qu’il a coûté et vérifier qu’il n’a touché qu’aux systèmes autorisés.
L’observabilité ne dit pas pourquoi le modèle a « pensé » ce qu’il a pensé : elle regarde ses actes, pas l’intérieur de son cerveau. C’est déjà beaucoup. Comparer ce que l’agent a fait avec ce que l’utilisateur voulait est la base de toute amélioration sérieuse.
Un exemple
Une compagnie d’assurance déploie un agent qui prépare les dossiers de sinistres : il lit la déclaration du client, consulte le contrat, interroge l’historique et rédige une proposition d’indemnisation pour un gestionnaire. Chaque outil mis à sa disposition reçoit, à chaque appel, un identifiant de session et une phrase résumant l’objectif du client. Toutes les étapes d’un même dossier se retrouvent ainsi reliées dans l’outil de suivi de l’équipe technique.
Au bout d’un mois, l’analyse des traces révèle que l’agent consulte les contrats un par un, en dizaines d’appels, pour les dossiers multirisques, ce qui allonge les délais et alourdit la facture. L’équipe ajoute un outil qui renvoie tous les contrats d’un client en une fois. Elle transforme aussi les cent parcours où l’agent s’est écarté de la demande du client en jeu de tests, rejoué à chaque modification de l’agent.
Comment ça marche
Le terme vient de l’exploitation des logiciels, où l’on distingue la surveillance, qui suit des indicateurs choisis à l’avance, de l’observabilité, qui permet de répondre après coup à des questions qu’on n’avait pas prévues. Pour les agents d’IA, la référence qui se dessine est celle d’OpenTelemetry, projet open source de télémétrie, qui publie des conventions sémantiques pour l’IA générative : des noms communs pour décrire les appels de modèle, les embeddings, la recherche documentaire, la consommation de tokens et les opérations d’agents 1.
- InstrumenterLe harness, les outils et les serveurs émettent un enregistrement pour chaque appel de modèle, appel d’outil ou délégation à un sous-agent.
- CorrélerUn identifiant de session, et si possible un résumé de l’intention de l’utilisateur, relie toutes les étapes d’une même mission.
- CollecterLes traces, métriques et journaux sont centralisés dans un outil de suivi, en filtrant les données sensibles.
- AnalyserOn reconstitue le parcours, on le compare à l’intention de départ et on repère erreurs, boucles inutiles et coûts anormaux.
- ÉvaluerLes parcours problématiques deviennent des cas de test rejoués à chaque évolution de l’agent, de ses outils ou de ses instructions.
L’unité de base est le « span », une opération observée du point de vue de l’appelant, qui couvre la durée de l’opération depuis son lancement jusqu’à la réponse complète, une erreur ou une annulation 2. Les conventions définissent notamment des opérations de création d’agent, d’exécution d’agent et de planification 2, avec des attributs comme le modèle configuré pour l’agent ou le nombre de tokens en entrée 3 ; le contenu des prompts et des réponses n’est enregistré que si on l’active explicitement 2. Un sous-agent s’inscrit comme une exécution d’agent imbriquée dans la précédente : un travail confié à plusieurs agents forme un arbre plus profond, pas un autre type de données 4. Certains attributs peuvent aussi être propagés aux étapes imbriquées, pour retrouver toutes les opérations liées sans parcourir toute la hiérarchie 1.
Ces conventions restent jeunes : elles passent par trois niveaux de stabilité, développement, version candidate et stable 4, et les opérations d’agent sont encore au niveau développement 2. Un vocabulaire commun ne garantit pas non plus qu’une trace suffise à rejouer une exécution ou à reconstituer l’état d’une application, et des horloges mal synchronisées peuvent suggérer un ordre d’événements qui n’a jamais existé 5. L’observabilité se distingue de l’interprétabilité, qui cherche à comprendre les mécanismes internes du modèle, et du benchmark, qui mesure un modèle sur un jeu de tests fixe : les traces de production servent justement à construire des évaluations fondées sur les usages réels.
Ce que ça change pour une entreprise
Pour l’entreprise, l’observabilité est la condition pour passer d’un agent de démonstration à un agent en production. Elle permet de répondre aux questions qu’un dirigeant finira par poser : qu’a fait l’agent, pour qui, avec quelles données, à quel coût, et pourquoi s’est-il trompé ce jour-là ? Elle sert aussi d’inventaire : un agent qui ne laisse aucune trace est un agent qu’on ne sait ni auditer, ni améliorer, ni même parfois détecter. S’appuyer sur un standard ouvert comme celui d’OpenTelemetry évite de dépendre de l’outil d’un seul fournisseur 1.
Le coût est réel : temps d’instrumentation, stockage de volumes de traces importants, outils d’analyse et personnes pour les exploiter. Les traces peuvent contenir des données personnelles ou confidentielles, ce qui explique que l’enregistrement du contenu des échanges soit une option à activer et non un comportement par défaut 2 ; leur conservation doit être encadrée. Enfin, les conventions évoluent encore 2, et une trace ne dit que ce qui a été instrumenté : un outil oublié ou un agent installé hors des circuits officiels restent invisibles.
Idées reçues
- « Les journaux de l’application suffisent à suivre un agent. »
Des journaux isolés ne disent pas quelles étapes appartiennent à la même mission. Il faut les relier par un identifiant commun pour reconstituer le parcours.
- « L’observabilité explique pourquoi le modèle a pris ses décisions. »
Elle montre ce que l’agent a fait, pas ce qui s’est passé à l’intérieur du modèle ; cette question relève de l’interprétabilité.
- « Si tout est tracé, on peut rejouer n’importe quelle exécution. »
Une trace ne contient pas forcément l’état complet de l’application, et des horloges désynchronisées peuvent fausser l’ordre des événements [5].
Sources
- OpenTelemetry, « Semantic conventions for generative AI systems », dépôt semantic-conventions-genai
- OpenTelemetry, « Semantic conventions for generative client AI spans », dépôt semantic-conventions-genai
- OpenTelemetry, « Semantic conventions for GenAI agent and framework spans », dépôt semantic-conventions-genai
- Dash0, « OpenTelemetry GenAI Semantic Conventions Explained »
- Stephanie Jarmak, « Engineering Reliable Coding Agents: Evaluating and Operating the System Around the Model », 2026