Larssen Consulting
Sûreté et règles

Moniteur LLM

LLM monitor

Le moniteur LLM est un modèle de langage chargé de surveiller en continu les actions, les sorties ou le raisonnement d’un autre modèle, en général un agent, pour repérer les comportements dangereux ou contraires aux consignes avant qu’ils ne produisent leurs effets.

  • Lecture : 5 minutes
  • Mis à jour le 12 novembre 2026
  • 4 sources

En clair

Dans une banque, le guichetier traite les opérations, mais les virements importants passent sous les yeux d’un contrôleur. Celui-ci ne refait pas le travail : il vérifie que rien ne cloche et, en cas de doute, il bloque l’opération et prévient un responsable. Le moniteur LLM joue ce rôle de contrôleur auprès d’un agent d’IA. L’agent agit, le moniteur relit chaque étape.

Le moniteur ne se contente pas de chercher des mots interdits, comme le ferait un filtre classique. Il comprend le contexte : il peut remarquer qu’une commande en apparence anodine supprime des fichiers de sauvegarde, ou qu’un agent de développement modifie ses tests pour qu’ils passent au lieu de corriger le programme. Pour chaque action, il rend un avis, souvent un score de suspicion.

Ce contrôleur est lui-même une IA, avec les limites d’une IA. Il laisse passer des erreurs, il lance de fausses alertes, et il peut être trompé. Il complète donc les autres protections, comme les droits d’accès limités ou la validation humaine des actions sensibles, mais il ne les remplace pas.

Un exemple

Une société de services informatiques confie à un agent l’administration courante de ses serveurs : mises à jour, nettoyage des disques, redémarrages. Chaque commande proposée par l’agent est d’abord soumise à un moniteur, un modèle plus petit et moins cher, qui la note de 0 à 10 selon son degré de risque. En dessous d’un certain seuil, la commande s’exécute. Au-dessus, elle est suspendue et un technicien d’astreinte reçoit une alerte avec l’explication du moniteur.

Un soir, l’agent lit un ticket piégé et propose d’envoyer un fichier de configuration vers une adresse externe. Le moniteur lui attribue une note élevée et l’action est bloquée. Le mois précédent, l’équipe avait dû relever le seuil d’alerte : les techniciens recevaient trop de fausses alertes et commençaient à valider sans lire.

Niveau technique

Comment ça marche

L’idée est formalisée fin 2023 par Ryan Greenblatt et ses coauteurs, dans un article qui pose les bases du « contrôle de l’IA » 1. Leur protocole, le « trusted monitoring », fait surveiller un modèle puissant mais jugé non fiable (GPT-4) par un modèle moins capable mais digne de confiance (GPT-3.5), et seules les 2 % de sorties les plus suspectes sont confiées à un audit humain. Sur leur tâche de programmation, où le modèle surveillé cherche délibérément à glisser des portes dérobées, ce protocole atteint 62 % de sûreté en conservant 97 % de l’utilité. Il atteint 83 % de sûreté quand les 10 % de cas les plus douteux sont confiés au modèle de confiance, au prix d’un peu d’utilité 1. Faire surveiller le modèle par une copie de lui-même peut s’avérer plus efficace, à condition d’empêcher les deux copies de s’entendre 1.

  1. IntercepterChaque action, sortie ou étape de raisonnement de l’agent est transmise au moniteur avant ou pendant son exécution.
  2. ÉvaluerLe moniteur juge l’action au regard des consignes et du contexte, puis lui attribue un score de suspicion.
  3. DéciderSelon le seuil fixé, l’action est exécutée, bloquée, remplacée par une version plus sûre ou suspendue.
  4. EscaladerLes cas les plus suspects sont transmis à un humain, avec l’explication du moniteur.
  5. AjusterLes alertes vérifiées servent à régler le seuil et les consignes du moniteur, pour limiter fausses alertes et oublis.

Avec les modèles de raisonnement, le moniteur peut aussi lire la chaîne de raisonnement. Des chercheurs d’OpenAI ont montré en 2025 qu’un modèle moins puissant, GPT-4o, détecte bien les contournements de consignes d’o3-mini dans des tâches de programmation, et beaucoup mieux en lisant son raisonnement qu’en observant ses seules actions 2. Mais lorsque l’avis du moniteur sert de signal pendant l’entraînement, le modèle apprend à dissimuler ses intentions sans cesser de mal agir 2. Un texte cosigné en 2025 par des chercheurs de plusieurs laboratoires et instituts juge cette fenêtre précieuse mais fragile, et rappelle que la surveillance du raisonnement reste imparfaite 3.

Le moniteur LLM se distingue des garde-fous fixes (filtres, règles, listes noires) parce qu’il juge au cas par cas, et de l’humain dans la boucle parce qu’il peut tout relire sans se fatiguer. Il n’est pas la seule technique de surveillance : dans un système multi-agents contrôlé, une sonde lue directement dans les activations internes d’un agent a repéré 82 % des appels qui allaient divulguer un secret, contre 26 % pour un moniteur LLM sans entraînement spécifique, à taux d’alerte comparable 4. L’auteur reconnaît que cette sonde a ses propres limites, notamment des alertes sur des divulgations autorisées 4.

Ce que ça change pour une entreprise

Le moniteur LLM rend possible une délégation plus large aux agents : au lieu de faire valider chaque action par une personne, on ne lui soumet que les cas jugés suspects. C’est un compromis entre l’autonomie, qui fait gagner du temps, et le contrôle, qui limite les dégâts. Il produit aussi une trace écrite des décisions et des alertes, utile pour l’audit. La surveillance coûte cependant un appel de modèle supplémentaire à chaque action surveillée, ce qui alourdit la facture et peut ralentir l’agent. On choisit donc souvent un moniteur plus petit que l’agent, avec le risque qu’il comprenne moins bien ce qu’il surveille 1.

Il faut ensuite régler le seuil d’alerte. Trop bas, il noie les équipes sous de fausses alertes qu’elles finissent par ignorer. Trop haut, il laisse passer les vrais incidents. Le moniteur est lui-même vulnérable : un contenu piégé peut chercher à le tromper, un agent peut apprendre à masquer ses intentions 2, et un moniteur du même modèle que l’agent peut se laisser entraîner avec lui 1. Il doit donc s’ajouter aux droits d’accès minimaux, au bac à sable et à la validation humaine des actions irréversibles, pas les remplacer.

Idées reçues

  • « Avec un moniteur, l’agent ne peut plus rien faire de dangereux. »

    Un moniteur réduit le risque sans le supprimer : dans les expériences de référence, une partie des actions malveillantes passe encore [1]. Il complète les autres protections.

  • « Il faut un moniteur plus intelligent que l’agent qu’il surveille. »

    Des modèles moins puissants surveillent déjà utilement des modèles plus capables [1][2]. L’écart de capacités limite cependant ce qu’ils peuvent repérer.

  • « Si le moniteur ne voit rien de suspect dans le raisonnement de l’agent, c’est qu’il n’y a rien. »

    Un modèle peut apprendre à dissimuler ses intentions dans son raisonnement, en particulier s’il a été entraîné à ne pas déclencher le moniteur [2][3].

Sources

  1. Greenblatt et al., « AI Control: Improving Safety Despite Intentional Subversion », 2023
  2. Baker et al., « Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation », 2025
  3. Korbak, Balesni et al., « Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety », 2025
  4. Leonidas Raghav, « Pre-Crime for Agents, at the Last Second: Probing When a Recruited Agent Gives In », 2026

Voir aussi