En clair
Un juriste qui reçoit un contrat de deux cents pages ne lit pas chaque ligne avec la même attention. Il parcourt l’ensemble, repère les clauses qui touchent à sa question, puis lit celles-là de près. Le token pruning donne ce réflexe à un modèle de langage : après un premier passage sur tout le document, il fait le tri et seuls les passages jugés utiles sont analysés en profondeur.
Un modèle traite un texte en le faisant passer par une pile de couches de calcul successives. Sans filtre, chaque token, c’est-à-dire chaque morceau de mot, traverse toutes les couches, même s’il ne sert à rien pour la question posée. Plus le document est long, plus cette lecture initiale coûte cher et plus l’utilisateur attend avant de voir le premier mot de la réponse.
Dans sa version la plus récente, l’élagage passe par un petit portillon, en anglais une « gate », placé au milieu de la pile. Il note chaque token et ne laisse passer vers le haut que les plus pertinents. Ce portillon n’applique pas une règle écrite à la main : il a été entraîné sur des exemples à reconnaître ce qui compte pour un type de tâche.
Un exemple
Un cabinet d’audit a mis en place un assistant interne qui répond à des questions sur des dossiers clients de plusieurs centaines de pages : procès-verbaux, contrats, annexes comptables. Chaque question oblige le modèle à relire le dossier entier, et les auditeurs attendent de longues secondes avant le début de la réponse, tandis que les serveurs saturent dès que plusieurs personnes posent des questions en même temps.
L’équipe technique, qui héberge elle-même un modèle à poids ouverts, entraîne un module d’élagage sur un échantillon de questions et de dossiers représentatifs. Elle mesure ensuite, sur un jeu de questions qu’elle n’a pas utilisé pour l’entraînement, le temps avant le premier mot, la mémoire consommée et la justesse des réponses comparées à celles du modèle d’origine. Elle ne la déploie qu’après avoir vérifié que les réponses n’ont pas perdu en qualité.
Comment ça marche
L’idée d’éliminer en cours de route les tokens peu utiles remonte aux modèles de compréhension du langage. En 2020, PoWER-BERT retire progressivement de BERT les vecteurs de mots redondants, choisis d’après l’attention, et apprend combien en éliminer grâce à un ajout au modèle et à sa fonction de perte : l’inférence devient jusqu’à 4,5 fois plus rapide pour moins de 1 % de perte de précision 1. Avec les grands modèles de langage et les contextes très longs, la cible est devenue le prefill, la phase où le modèle lit toute l’entrée avant de produire le premier token.
- LireLes premières couches du modèle traitent l’ensemble des tokens du document.
- NoterÀ une couche choisie, un module de tri attribue à chaque token un score de pertinence pour la tâche.
- TrierSeuls les tokens les mieux notés sont retenus ; les autres sont ignorés par la suite du calcul.
- ApprofondirLes couches supérieures ne traitent que la sélection, ce qui réduit le calcul et la mémoire.
- RépondreLe modèle produit son premier token plus tôt qu’avec une lecture complète.
Dans les méthodes apprises, le module de tri est entraîné à l’avance, pour un modèle et un type de tâche donnés ; ces étapes se déroulent ensuite à chaque requête.
Plusieurs familles de méthodes coexistent. LazyLLM, en 2024, ne calcule les représentations que des tokens importants pour la prédiction suivante, pendant le prefill comme pendant la génération, et peut réactiver plus tard un token écarté plus tôt 2. GemFilter, la même année, réutilise les premières couches du modèle comme filtre pour sélectionner les tokens d’entrée, puis ne traite que la sélection ; sans aucun entraînement, ses auteurs annoncent un calcul 2,4 fois plus rapide et 30 % de mémoire GPU en moins que les meilleures méthodes existantes 3. Ces approches s’appuient sur des signaux internes du modèle, sans module dédié à l’élagage.
TokenGate, publié en 2026, ajoute au contraire un petit module entraînable de bout en bout : à une couche donnée, il note les tokens du contexte, et les moins utiles sont ensuite ignorés par les couches supérieures grâce à une attention filtrée 4. Il s’applique à des Transformer classiques comme Qwen3 et à des modèles à attention hybride comme Qwen3.5, avec une adaptation comparable à un affinage léger ; pour Qwen3, il est entraîné en même temps qu’une LoRA de rang 16 4. Les auteurs annoncent un temps jusqu’au premier token 1,4 à 11,3 fois plus court et un pic de mémoire 1,5 à 3,4 fois plus faible, sans dégradation de la précision sur les tâches évaluées 4. Les modules publiés sont entraînés pour un couple modèle et tâche, par exemple pour Qwen3-1.7B sur la recherche d’une information isolée dans environ 32 000 tokens de texte 5. Le token pruning se distingue de la compression de prompt, qui raccourcit le texte avant de l’envoyer, et de la Mixture of Experts, qui choisit des parties du modèle et non des parties du texte.
Ce que ça change pour une entreprise
Le token pruning s’attaque à un coût très concret des usages sur long contexte : l’attente avant la première réponse et la mémoire nécessaire pour lire de gros documents, dépôts de code ou résultats d’outils réinjectés par un agent. Les gains annoncés pour TokenGate, jusqu’à onze fois plus rapide au premier token et plus de trois fois moins de mémoire au maximum 4, peuvent se traduire par davantage d’utilisateurs servis sur le même parc de GPU et par des assistants plus réactifs. Le code et des modèles d’exemple sont publiés 5.
Ces gains concernent surtout les entreprises qui hébergent leurs propres modèles : la technique modifie le modèle et ne s’applique pas à une API fermée. Elle demande des compétences d’entraînement et un jeu d’exemples représentatif, car le module d’élagage est appris pour un modèle et une tâche 5 ; si le modèle ou l’usage change, il faut la réentraîner. Le risque principal est qu’un passage écarté soit justement celui qui comptait, sur un cas rare que les données d’entraînement ne couvraient pas. Les résultats publiés portent sur des bancs d’essai choisis par les auteurs : seule une évaluation sur vos propres documents dira si la qualité tient.
Idées reçues
- « Élaguer des tokens, c’est forcément dégrader les réponses. »
Les tokens écartés ont tout de même été lus par les premières couches, et les auteurs de TokenGate ne mesurent pas de baisse de précision sur leurs tâches [4]. Cela reste à vérifier sur chaque usage.
- « C’est la même chose que résumer le document avant de l’envoyer au modèle. »
Non : le tri se fait à l’intérieur du modèle, pendant son calcul, à partir de ce qu’il a déjà compris du texte, et non par un traitement préalable du document.
- « Un module d’élagage s’ajoute à n’importe quel modèle, sans réglage. »
Un module appris, comme celui de TokenGate, doit être entraîné pour un modèle et une tâche donnés [5]. D’autres méthodes, comme LazyLLM ou GemFilter, s’en passent, mais avec leurs propres compromis.
Sources
- Goyal et al., « PoWER-BERT: Accelerating BERT Inference via Progressive Word-vector Elimination », 2020
- Fu et al., « LazyLLM: Dynamic Token Pruning for Efficient Long Context LLM Inference », 2024
- Shi et al., « Discovering the Gems in Early Layers: Accelerating Long-Context LLMs with 1000x Input Token Reduction », 2024
- Patel et al., « TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning », 2026
- TokenGate, dépôt de code officiel sur GitHub