En clair
Imaginez que vous dictiez au téléphone une manipulation à un collègue qui ne voit votre écran que par des photos envoyées une à une. Il regarde la photo, vous dit « clique sur le bouton bleu en haut à droite », vous le faites, vous renvoyez une nouvelle photo, et ainsi de suite. C’est exactement la boucle du computer use : le modèle ne lit pas le code des logiciels, il regarde des images de l’écran et décide de la prochaine action de souris ou de clavier.
L’intérêt est l’universalité. Une application qui n’offre aucune interface de programmation, un vieux logiciel métier, un tableur, une fenêtre de paramètres : tout ce qu’un humain peut faire avec une souris devient accessible à l’agent. Le revers est la lenteur et la fragilité. Chaque étape demande une nouvelle capture et un nouvel appel au modèle, et un bouton déplacé ou une fenêtre surgissante suffit à faire dérailler la tâche.
Le computer use se distingue de deux notions voisines. L’agent navigateur reste cantonné au navigateur web, où il peut souvent lire la structure de la page plutôt que ses pixels. L’arbre d’accessibilité, lui, est une description structurée de l’interface que le système fournit : un agent qui le lit sait qu’il y a un bouton « Valider » sans avoir à le repérer sur une image.
Un exemple
Le service des achats d’un groupe industriel doit chaque mois reporter les prix de deux cents références depuis un logiciel de gestion ancien, sans API, vers un tableur de suivi. L’équipe informatique installe un agent de computer use dans une machine virtuelle isolée, qui n’a accès qu’à ce logiciel et au tableur, sans messagerie ni navigation libre.
Le premier essai est instructif : l’agent fait le travail, mais en près de trois heures, et se trompe quand une fenêtre de confirmation inattendue apparaît. L’équipe découpe la tâche en lots courts, ajoute une vérification humaine des écarts de prix supérieurs à 10 % et garde le dispositif pour ce seul cas, en attendant que l’éditeur du logiciel propose un export.
Comment ça marche
Anthropic a rendu cette capacité publique le 22 octobre 2024, en version bêta sur son API, en la décrivant comme expérimentale et parfois sujette aux erreurs, avec des difficultés reconnues pour faire défiler, glisser ou zoomer 1. Le banc d’essai de référence est OSWorld, publié en avril 2024 par Tianbao Xie et seize coauteurs : 369 tâches sur de vrais systèmes Ubuntu, Windows et macOS, couvrant applications de bureau, sites web et enchaînements entre plusieurs logiciels 2. À sa sortie, les humains y réussissaient plus de 72 % des tâches et le meilleur modèle 12,24 % 2 ; Claude 3.5 Sonnet atteignait 14,9 % avec les seules captures d’écran, et 22 % en disposant de plus d’étapes 1.
- CapturerL’application prend une capture de l’écran et l’envoie au modèle avec la consigne.
- DéciderLe modèle analyse l’image et choisit une ou plusieurs actions : cliquer à tel endroit, taper un texte, faire défiler.
- ExécuterL’application réalise ces actions sur la machine, réelle ou virtuelle, et signale les erreurs.
- VérifierUne nouvelle capture montre le résultat ; la boucle reprend jusqu’à la fin de la tâche ou une limite d’étapes.
Techniquement, l’application de l’entreprise tient la boucle : elle envoie la demande et une capture d’écran, le modèle répond par des actions (capture, clic à des coordonnées, saisie de texte), l’application les exécute dans son propre environnement et renvoie le résultat, jusqu’à ce que le modèle rende la main 3. Chaque capture coûte environ 1 000 à 1 800 tokens en entrée, si bien que les longues tâches deviennent vite chères ; les menus déroulants et petites cibles restent difficiles à atteindre à la souris, et les raccourcis clavier fonctionnent souvent mieux 3.
Le risque principal est l’injection de prompt : le modèle peut suivre des instructions écrites sur une page web ou dans une image, même si elles contredisent celles de l’utilisateur 3. La documentation recommande donc une machine virtuelle ou un conteneur dédié aux droits minimaux, aucun identifiant de connexion, une liste blanche de domaines et une confirmation humaine pour les actions lourdes de conséquences, comme un paiement ou l’acceptation de conditions générales 3.
Ce que ça change pour une entreprise
Le computer use ouvre l’automatisation aux applications qui n’en offraient aucune prise : logiciels anciens, outils internes, postes de travail complets. C’est un recours utile quand aucune API n’existe, mais rarement la meilleure option quand elle existe : une API est plus rapide, moins chère et plus fiable. Les scores des bancs d’essai progressent vite, mais restent mesurés sur des tâches de test, loin de la diversité d’un parc applicatif réel 2.
Le coût et le risque se pilotent dès la conception. Chaque étape consomme une capture d’écran facturée en tokens 3, et un agent qui voit tout l’écran voit aussi ce qui ne le regarde pas. Les règles de base sont un poste isolé, sans données sensibles ni identifiants, une navigation limitée et un humain qui valide les actions irréversibles 3. Sans ces précautions, une simple page piégée peut détourner l’agent.
Idées reçues
- « Un agent qui sait utiliser un ordinateur remplace toutes les intégrations par API. »
C’est un dernier recours : chaque action passe par une capture d’écran et un appel au modèle, ce qui est plus lent, plus cher et plus fragile qu’un appel d’API direct.
- « Le modèle comprend le fonctionnement interne des logiciels qu’il pilote. »
Il ne voit que des images de l’écran et y place des clics. Un changement d’interface ou une fenêtre imprévue peut suffire à le tromper.
- « Comme l’agent travaille à l’écran, il ne présente pas plus de risque qu’un utilisateur. »
Il peut obéir à des instructions cachées dans une page ou une image. D’où l’isolement dans une machine dédiée et la validation humaine des actions sensibles.