Larssen Consulting
Agents et outils

Arbre d’accessibilité

Accessibility tree

L’arbre d’accessibilité est la description structurée qu’un système ou un navigateur donne d’une interface, élément par élément, initialement pour les technologies d’assistance comme les lecteurs d’écran, et que les agents IA exploitent pour piloter des applications de façon plus fiable et moins coûteuse qu’à partir de captures d’écran.

  • Lecture : 4 minutes
  • Mis à jour le 12 novembre 2026
  • 4 sources

En clair

Une personne aveugle qui utilise un ordinateur s’appuie sur un lecteur d’écran qui lui annonce « bouton Enregistrer », « champ Adresse, vide », « case Conditions générales, non cochée ». Le lecteur ne devine pas ces informations en regardant l’écran : l’application les lui fournit, sous la forme d’une arborescence qui range chaque fenêtre, chaque panneau, chaque bouton à sa place. C’est l’arbre d’accessibilité.

Pour un agent IA, cette arborescence vaut un plan de l’immeuble alors que la capture d’écran n’en est qu’une photo. Avec la photo, il faut repérer le bouton, estimer ses coordonnées et cliquer en espérant viser juste. Avec le plan, l’agent sait qu’il existe un bouton nommé « Valider » et peut demander à l’activer directement. Le texte est bien plus léger qu’une image et la désignation de l’élément ne laisse pas de place au doute.

L’arbre d’accessibilité n’est donc pas un type d’agent, mais une source d’information. Le computer use, au sens strict, travaille sur les pixels ; l’agent navigateur et l’agent de bureau peuvent, eux, s’appuyer sur cet arbre. Sa limite est simple : l’agent ne voit que ce que l’application a bien voulu décrire, et une interface mal conçue pour l’accessibilité l’est aussi pour les agents.

Un exemple

Le service comptable d’une entreprise de transport utilise un logiciel de facturation installé sur les postes Windows, sans API. L’équipe informatique teste d’abord un agent qui pilote l’écran par captures : il réussit, mais se trompe de ligne dans les tableaux denses et chaque facture coûte des dizaines de captures.

Elle bascule vers un outil qui lit l’arbre d’accessibilité du logiciel. L’agent reçoit la liste des champs nommés et coche, saisit et valide en les désignant par leur nom. Les erreurs de clic disparaissent ; restent deux écrans dont les champs n’ont pas de nom, que l’équipe signale à l’éditeur et qu’elle traite en attendant par captures d’écran.

Niveau technique

Comment ça marche

La notion vient de l’accessibilité numérique. Le W3C décrit, dans sa spécification Core Accessibility API Mappings, comment les navigateurs traduisent une page web en objets accessibles, nœuds d’un arbre, pour les API d’accessibilité de chaque plateforme : MSAA et IAccessible2, UI Automation, ATK et AT-SPI sous Linux, AX API sous macOS et l’API d’Android 1. Chaque objet transmet des propriétés (rôle, nom, valeur, position), des états passagers comme « enfoncé » ou « sélectionné », des événements, des actions possibles et ses relations avec les autres éléments 1.

  1. ExposerL’application décrit ses éléments au système : rôle, nom, état, actions possibles.
  2. LireL’outil de l’agent interroge l’API d’accessibilité et obtient l’arbre sous forme de texte structuré.
  3. DésignerLe modèle choisit l’élément voulu par sa référence ou son nom, sans calculer de coordonnées.
  4. Agir et relireL’outil déclenche l’action, puis relit l’arbre pour vérifier que l’interface a bien changé.

Ces API servaient déjà à l’automatisation avant les agents IA. Microsoft présente UI Automation comme un cadre qui donne un accès programmatique à la plupart des éléments du bureau, pour les lecteurs d’écran mais aussi pour les scripts de test automatisés 2. Les outils pour agents reprennent cette base. Le serveur Playwright MCP de Microsoft fait agir les modèles sur les pages web à partir d’instantanés de l’arbre d’accessibilité, sans modèle de vision et de façon déterministe, en réservant les clics par coordonnées à une option 3.

Sur le bureau, l’outil agent-desktop lit l’arbre d’accessibilité des applications via AX API sur macOS, UI Automation sur Windows et AT-SPI sur Linux, le renvoie en JSON et attribue une référence à chaque élément actionnable ; l’agent agit sur cette référence puis relit l’interface pour vérifier le résultat 4. Sa documentation pose la limite commune à ces approches : seul ce que l’application expose dans son arbre est atteignable 4.

Ce que ça change pour une entreprise

Pour automatiser des applications sans API, l’arbre d’accessibilité est souvent la voie la plus économique et la plus fiable : du texte plutôt que des images, des éléments désignés par leur nom plutôt que des clics approximatifs 3. Il permet aussi de réutiliser un savoir-faire ancien, celui des tests automatisés d’interface 2.

Sa portée dépend de la qualité des logiciels. Une application qui ne nomme pas ses boutons ou dessine son interface sans la décrire reste hors de portée 4, et il faut alors revenir aux captures d’écran. L’accessibilité devient ainsi un critère d’achat à double titre : pour les salariés en situation de handicap et pour l’automatisation. Enfin, accorder à un outil la permission d’accessibilité du système lui donne la main sur toutes les applications du poste, une autorisation à réserver à des machines maîtrisées.

Idées reçues

  • « L’arbre d’accessibilité a été inventé pour les agents IA. »

    Il existe pour les technologies d’assistance comme les lecteurs d’écran, et sert depuis longtemps aux tests automatisés d’interface. Les agents en sont des utilisateurs récents.

  • « Avec l’arbre d’accessibilité, un agent peut piloter n’importe quelle application. »

    Il n’atteint que ce que l’application décrit. Un écran aux boutons sans nom ou dessiné sans description reste invisible pour lui.

  • « Lire l’arbre d’accessibilité, c’est faire du computer use. »

    Le computer use travaille sur des captures d’écran et des coordonnées. L’arbre d’accessibilité est une description textuelle de l’interface, une autre source d’information.

Sources

  1. W3C, « Core Accessibility API Mappings 1.2 », 2026
  2. Microsoft, « UI Automation », documentation Win32, 2025
  3. Microsoft, « Playwright MCP », 2025
  4. agent-browser.dev, « agent-desktop », documentation, 2026

Voir aussi