Larssen Consulting
Modèles de langage

Prefill

préremplissage

Le prefill (ou préremplissage) est la phase pendant laquelle un modèle de langage traite l’ensemble du prompt qu’il reçoit, avant de générer le premier token de sa réponse ; sa durée fixe le délai avant que la réponse commence à s’afficher.

  • Lecture : 4 minutes
  • Mis à jour le 29 octobre 2026
  • 4 sources

En clair

Avant de répondre à un courrier, on le lit en entier. Pour une lettre d’une page, c’est immédiat ; pour un dossier de trois cents pages, il faut un moment avant de pouvoir écrire la première ligne. Un modèle de langage fonctionne de la même façon. Le prefill, c’est cette lecture : le modèle parcourt toute la demande, les instructions, les documents joints, l’historique de la conversation, et en tire une sorte de fiche de lecture qu’il garde en mémoire.

Vient ensuite l’écriture, appelée décodage : le modèle produit sa réponse un token après l’autre, en s’appuyant sur la fiche de lecture au lieu de tout relire à chaque mot. Les deux phases n’ont pas le même profil. La lecture traite tous les mots d’un coup et sollicite surtout la puissance de calcul ; l’écriture avance mot par mot et dépend surtout de la vitesse d’accès à la mémoire.

C’est le prefill qui explique le silence de quelques secondes, parfois davantage, quand on confie un long document à un assistant. Et c’est lui qui pèse sur les agents : à chaque étape, ils renvoient au modèle un contexte qui s’allonge, avec les résultats d’outils accumulés.

Un exemple

Un cabinet d’audit a déployé un agent qui analyse des contrats fournisseurs. À chaque étape, l’agent renvoie au modèle les instructions, le contrat complet et les extraits déjà relevés. Au fil de la tâche, le contexte grossit et les utilisateurs constatent que l’agent met de plus en plus de temps à « réfléchir » avant chaque action, alors que les réponses elles-mêmes restent courtes.

L’équipe technique identifie le prefill comme responsable. Elle place les éléments stables, instructions et contrat, au début du prompt pour profiter de la mise en cache proposée par son fournisseur, et ne renvoie plus que des résumés des résultats d’outils au lieu des sorties brutes. Le délai avant chaque action redevient acceptable et la facture de tokens d’entrée baisse.

Niveau technique

Comment ça marche

La distinction entre deux phases s’est imposée dans les travaux sur le service des modèles de langage publiés en 2023. Des chercheurs de Microsoft Research India et du Georgia Institute of Technology décrivent l’inférence comme composée d’une phase de prefill, qui traite l’entrée, et d’une phase de décodage, qui génère la sortie 1. L’équipe de Splitwise caractérise la première comme gourmande en calcul et la seconde comme gourmande en mémoire, avec des profils de latence, de débit, de mémoire et de consommation électrique distincts ; la génération token par token sous-utilise les capacités de calcul des accélérateurs 2.

  1. DécouperLe prompt complet est converti en une suite de tokens.
  2. CalculerTous les tokens traversent le modèle en parallèle, en une seule passe.
  3. MémoriserLes clés et valeurs d’attention de chaque token sont rangées dans le cache clés-valeurs.
  4. Premier tokenLe modèle produit le premier token de la réponse, puis passe la main au décodage.

Le décodage qui suit produit les tokens suivants un par un, en relisant le cache au lieu de retraiter le prompt.

Pendant le prefill, tous les tokens du prompt traversent les couches du Transformer en parallèle. Le modèle calcule pour chacun des clés et des valeurs d’attention, conservées dans le cache clés-valeurs que le décodage relira, puis produit le premier token. On mesure cette phase par le temps jusqu’au premier token (TTFT), et le décodage par le temps par token de sortie (TPOT) 3. Comme le travail croît avec la longueur du prompt, les contextes longs des agents rendent le prefill coûteux en temps comme en mémoire.

Plusieurs familles d’optimisation en découlent. Le prefill par morceaux découpe un long prompt en tronçons de taille égale et regroupe chaque tronçon avec des calculs de décodage d’autres requêtes, pour mieux occuper le processeur graphique 1. La désagrégation confie prefill et décodage à des GPU différents pour supprimer les interférences entre les deux phases : c’est le principe de DistServe 3 et de Splitwise, qui annonce un débit 1,4 fois supérieur pour un coût inférieur de 20 % 2. La mise en cache du prompt, enfin, évite de refaire le prefill d’un préfixe déjà traité ; sur Amazon Bedrock, elle peut réduire jusqu’à 90 % le coût des tokens d’entrée envoyés de manière répétée 4. Le prefill se distingue de la fenêtre de contexte, qui fixe la longueur maximale du prompt, et ne modifie en rien les paramètres du modèle.

Ce que ça change pour une entreprise

Le prefill explique une bonne part de l’expérience ressentie : le délai avant que la réponse commence. Pour un assistant conversationnel, ce délai reste court ; pour un agent qui accumule documents et résultats d’outils, il augmente à chaque étape et finit par dominer le temps total. Il se retrouve aussi sur la facture, puisque les tokens d’entrée sont payés à chaque appel. Les leviers sont connus : ne transmettre que le contexte utile, placer les éléments stables en tête de prompt pour bénéficier de la mise en cache 4, résumer les sorties d’outils volumineuses.

Pour une entreprise qui héberge ses propres modèles, le prefill devient une question d’infrastructure : les techniques de prefill par morceaux ou de séparation des phases sur des GPU distincts améliorent le débit, mais demandent un moteur de service adapté et des compétences rares 1 3. Le risque principal est de croire qu’une grande fenêtre de contexte est gratuite : remplir la fenêtre allonge les délais, consomme de la mémoire et coûte en tokens. Les gains annoncés par les techniques d’accélération se mesurent sur ses propres charges, pas sur les seuls chiffres des fournisseurs.

Idées reçues

  • « Le temps de réponse dépend surtout de la longueur de la réponse. »

    Avec un prompt long, le prefill peut représenter l’essentiel de l’attente, même pour une réponse de trois lignes.

  • « Puisque la fenêtre de contexte le permet, ajouter des documents ne coûte rien. »

    Chaque token ajouté doit être traité au prefill, ce qui allonge le délai, occupe de la mémoire et se paie à chaque appel.

  • « Pendant le prefill, le modèle apprend le contenu du prompt. »

    Aucun paramètre n’est modifié : le modèle calcule une représentation temporaire du prompt, effacée une fois la requête terminée ou le cache expiré.

Sources

  1. Agrawal et al., « SARATHI: Efficient LLM Inference by Piggybacking Decodes with Chunked Prefills », 2023
  2. Patel et al., « Splitwise: Efficient generative LLM inference using phase splitting », 2023
  3. Zhong et al., « DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving », 2024
  4. AWS, « Optimizing cost and latency with Amazon Bedrock prompt caching for Anthropic models »

Voir aussi