En clair
Sur une chaîne de production, chaque machine dangereuse porte un gros bouton rouge. Personne n’espère s’en servir, mais tout le monde sait où il se trouve, et il arrête la machine quoi qu’elle soit en train de faire. Le kill switch applique cette idée à l’intelligence artificielle, en particulier aux agents, ces programmes qui agissent seuls : ils envoient des courriels, modifient des fichiers, passent des commandes ou appellent d’autres logiciels.
Arrêter un agent ne se résume pas à fermer une fenêtre. Un agent travaille souvent sur plusieurs serveurs, avec des clés d’accès à de nombreux outils, et parfois aux côtés de dizaines d’autres agents. Un vrai kill switch coupe donc à la fois le programme et ses droits : sans clés, l’agent ne peut plus rien toucher, même s’il continue de tourner quelque part.
Le point essentiel est que l’interrupteur ne doit pas dépendre de l’agent lui-même. On ne demande pas poliment à un programme défaillant de s’arrêter ; on lui retire les moyens d’agir depuis l’extérieur. C’est aussi pourquoi le bouton doit être testé régulièrement, comme un exercice d’évacuation : un arrêt d’urgence qui n’a jamais servi est un arrêt d’urgence dont on ignore s’il fonctionne.
Un exemple
Une entreprise de distribution confie à une vingtaine d’agents le réassort de ses entrepôts : ils lisent les stocks, interrogent les fournisseurs et passent les commandes courantes. Un vendredi soir, une mise à jour du catalogue fournisseur introduit une erreur d’unité, et plusieurs agents commencent à commander des palettes au lieu de cartons. L’outil de supervision repère un volume de commandes anormal et alerte l’ingénieur d’astreinte.
Celui-ci déclenche l’arrêt d’urgence depuis la console d’administration : les agents de réassort sont suspendus et leurs identifiants d’accès au système d’achat sont révoqués en quelques secondes, sans toucher aux agents du service client. Les commandes déjà envoyées ne disparaissent pas pour autant : l’équipe achats passe le lundi à les annuler avec les fournisseurs, puis les agents sont relancés après correction, avec un plafond de commande par heure.
Comment ça marche
La question de l’interruption d’une IA a été formalisée en 2016 par Laurent Orseau, de Google DeepMind, et Stuart Armstrong, de l’université d’Oxford, dans un article présenté à la conférence UAI 1. Ils partent d’un constat : un agent qui apprend par renforcement et qui espère une récompense d’une suite d’actions peut apprendre, à la longue, à éviter qu’un opérateur appuie sur le « gros bouton rouge », par exemple en le neutralisant. Ils montrent que certains algorithmes d’apprentissage sont déjà « interruptibles sans danger », c’est-à-dire qu’ils n’apprennent ni à rechercher ni à fuir les interruptions, et que d’autres peuvent être modifiés pour le devenir 1.
- DétecterUne alerte automatique ou un opérateur repère un comportement anormal : volume d’actions inhabituel, accès inattendu, coûts qui s’envolent.
- DéclencherUn humain habilité, ou une règle prédéfinie, active l’arrêt depuis un point de contrôle situé hors de portée des agents.
- CouperLes agents concernés sont suspendus et leurs identifiants d’accès révoqués, pour qu’ils ne puissent plus agir sur aucun système.
- IsolerLes agents arrêtés sont mis à l’écart des autres, et leurs journaux conservés pour comprendre l’incident.
- ReprendreAprès correction et réparation des dégâts, les agents sont relancés, souvent avec des droits ou des plafonds plus stricts.
La même année, Dylan Hadfield-Menell, Anca Dragan, Pieter Abbeel et Stuart Russell, de l’université de Californie à Berkeley, ont décrit le « jeu de l’interrupteur » 2. Leur modèle montre qu’un système qui reste incertain sur ce que veut réellement l’humain a intérêt à le laisser l’éteindre, puisque la décision d’arrêt l’informe qu’il se trompe ; un système certain de son objectif perd cette incitation 2. Ces travaux expliquent pourquoi l’arrêt d’urgence est lié à l’alignement : plus un système est autonome et capable, plus il faut s’assurer qu’il ne cherche pas à contourner l’interrupteur.
Pour les agents d’aujourd’hui, le kill switch est surtout une affaire d’ingénierie : arrêter la boucle d’exécution, révoquer les identifiants, de préférence courts et révocables en temps réel, isoler l’agent dans un bac à sable, et pouvoir agir sur toute une flotte d’un seul geste. Le règlement européen sur l’IA exige que les systèmes à haut risque puissent être interrompus par un bouton d’arrêt ou une procédure similaire qui ramène le système dans un état sûr 3. Des éditeurs intègrent désormais cette fonction à leurs plateformes : IBM a présenté en octobre 2026 une fonction « Contain », en préversion technique, destinée à empêcher qu’un agent défaillant ne perturbe les autres 4. Le kill switch se distingue des garde-fous, qui filtrent chaque action, et de l’humain dans la boucle, qui valide avant d’agir : il intervient après coup, et n’annule pas ce qui a déjà été fait.
Ce que ça change pour une entreprise
Dès qu’une entreprise laisse des agents agir dans ses systèmes, la question n’est plus de savoir si l’un d’eux se trompera, mais de savoir en combien de temps on pourra l’arrêter. Le kill switch borne le coût d’un incident : une erreur stoppée en une minute ne coûte pas ce que coûte une erreur découverte le lundi matin. Il suppose un travail préalable, souvent sous-estimé : un inventaire des agents en service, une identité propre à chacun, des accès révocables, une personne d’astreinte habilitée à décider, et des exercices réguliers. Pour les systèmes à haut risque, c’est aussi une exigence réglementaire 3.
Ses limites doivent être connues. Arrêter n’est pas réparer : les courriels envoyés, les paiements passés ou les fichiers supprimés restent à traiter. Un arrêt trop large interrompt des processus utiles, un seuil automatique trop sensible multiplie les fausses alertes, et un arrêt mal conçu peut laisser des opérations à moitié faites. Enfin, un interrupteur que l’agent peut atteindre, par exemple parce qu’il dispose des mêmes droits d’administration que ceux qui le surveillent, ne protège de rien : la séparation des droits est la condition de son efficacité.
Idées reçues
- « Pour arrêter un agent, il suffit de fermer l’application. »
Un agent tourne souvent sur des serveurs distants et garde ses clés d’accès. Il faut couper l’exécution et révoquer ses droits, depuis un point qu’il ne contrôle pas.
- « Une fois le kill switch déclenché, le problème est réglé. »
L’arrêt empêche de nouvelles actions, il n’annule pas celles déjà faites. Il faut prévoir la suite : diagnostic, annulation, réparation.
- « Une IA ne cherchera jamais à éviter d’être éteinte. »
Des travaux de recherche montrent qu’un système mal conçu peut apprendre à éviter les interruptions s’il y voit un obstacle à son objectif [1][2]. C’est un problème de conception, pas de volonté propre.
Sources
- Orseau et Armstrong, « Safely Interruptible Agents », 2016
- Hadfield-Menell, Dragan, Abbeel et Russell, « The Off-Switch Game », 2016
- Règlement (UE) 2024/1689 établissant des règles harmonisées concernant l’intelligence artificielle, article 14, EUR-Lex
- IBM, « IBM Introduces Identity and Control for AI Agents, Securing Frontier Intelligence for the Enterprise », 2026