En clair
Un traducteur à qui l’on soumet chaque matin un contrat de cent pages, avec à chaque fois un seul paragraphe modifié à la fin, finit par ne plus relire les quatre-vingt-dix-neuf premières pages : il garde ses notes de la veille et ne travaille que sur la nouveauté. Le prompt caching applique la même économie aux modèles de langage. Avant de répondre, un modèle doit d’abord lire tout le texte qu’on lui envoie, et cette lecture a un coût en calcul, donc en temps et en argent.
Or beaucoup de requêtes commencent par le même texte : les mêmes consignes générales, le même document de référence, la même liste d’outils, ou l’historique d’une conversation qu’on prolonge d’un message. Le fournisseur garde donc en mémoire, pendant quelques minutes, le résultat de la lecture de ce début commun. Si la requête suivante commence exactement par le même texte, il reprend ce travail au lieu de le refaire, et ne lit que la fin nouvelle.
Deux conditions comptent : le début doit être strictement identique, au caractère près, et la requête suivante doit arriver avant l’expiration du cache. Une date ou un nom d’utilisateur placé en tête suffit à tout invalider. C’est pourquoi on range les parties stables au début et les parties qui changent à la fin.
Un exemple
Un service client fait répondre un assistant aux questions sur ses conditions générales, ses grilles tarifaires et ses procédures, soit un dossier de référence d’environ quatre-vingt mille tokens joint à chaque question. Sans cache, chaque question oblige le modèle à relire tout le dossier : le client attend plusieurs secondes avant le premier mot, et la facture d’entrée est presque entièrement consacrée à ce dossier.
L’équipe technique réorganise la requête : consignes et dossier en tête, toujours dans le même ordre, puis la question du client à la fin, et active la mise en cache. Le tableau de bord montre ensuite que la quasi-totalité des tokens d’entrée sont lus en cache aux heures d’affluence, avec un temps de réponse nettement réduit. En revanche, la nuit, quand les questions s’espacent de plus de quelques minutes, le cache expire et l’économie disparaît, ce que l’équipe intègre dans ses prévisions de coût.
Comment ça marche
L’idée est formalisée en 2023 par In Gim et ses coauteurs avec Prompt Cache : les états d’attention de segments de texte qui reviennent d’un prompt à l’autre, messages système, gabarits, documents, sont précalculés, stockés et réutilisés, sans toucher aux paramètres du modèle ni à la qualité des réponses, avec un temps avant le premier token divisé par 8 sur GPU et jusqu’à 60 sur CPU 1. La même année, le moteur d’inférence SGLang introduit RadixAttention, qui réutilise automatiquement le cache clé-valeur entre requêtes partageant un préfixe, et annonce un débit jusqu’à 6,4 fois supérieur aux systèmes de l’époque 2.
- Premier envoiLe modèle lit tout le prompt ; le fournisseur conserve le calcul du préfixe marqué ou détecté, ce qui coûte un léger supplément.
- Requête suivanteLe fournisseur compare le début de la nouvelle requête au préfixe en cache, au caractère près.
- RéutilisationSi le préfixe est identique, son calcul est repris tel quel et facturé à tarif réduit ; seule la fin nouvelle est lue.
- ExpirationSans nouvelle lecture pendant la durée de vie du cache, quelques minutes en général, l’entrée est effacée et tout est relu.
Les fournisseurs l’ont transformé en offre commerciale. Anthropic indique une disponibilité générale de la fonction sur son API le 17 décembre 2024 et annonce, pour les longs prompts, jusqu’à 90 % de coût et 85 % de latence en moins ; dans son exemple d’un livre de 100 000 tokens, le temps avant le premier token passe de 11,5 à 2,4 secondes 4. Sa documentation actuelle fixe la durée de vie par défaut à cinq minutes, renouvelée gratuitement à chaque lecture, et facture l’écriture en cache 1,25 fois le prix normal (2 fois pour une durée d’une heure) et la lecture 0,1 fois, voire moins sur certains modèles récents ; le préfixe suit l’ordre outils, prompt système, messages, et doit atteindre une longueur minimale de 512 à 4 096 tokens selon le modèle 3. Chez OpenAI, la mise en cache est automatique sur les modèles compatibles ; à partir de GPT-5.6, le préfixe doit compter au moins 1 024 tokens et la lecture coûte 0,1 fois le tarif d’entrée, et la documentation recommande de placer le contenu stable en tête et le contenu variable à la fin 5.
Le prompt caching ne réduit que le coût de lecture, le prefill : la génération de la réponse est facturée comme d’habitude, et le modèle « voit » toujours l’intégralité du texte. Il ne faut pas le confondre avec un cache de réponses, qui renverrait une réponse déjà produite sans interroger le modèle. Il ne change pas non plus la taille de la fenêtre de contexte : il rend moins cher de la remplir avec le même début. C’est un complément indispensable des agents, qui renvoient à chaque étape un historique presque identique à celui de l’étape précédente.
Ce que ça change pour une entreprise
Pour tout usage qui renvoie souvent le même début de requête, assistant adossé à un dossier de référence, agent qui enchaîne les étapes, conversation longue, le prompt caching est l’un des leviers de coût les plus directs : la part réutilisée est facturée une fraction du prix normal 3 5, et l’attente avant la réponse diminue 4. Il demande peu de travail : ordonner la requête du plus stable au plus variable, et, selon le fournisseur, marquer les points de cache.
Ses limites sont à connaître. L’écriture en cache coûte plus cher qu’une lecture normale chez certains fournisseurs 3, donc un préfixe rarement réutilisé fait perdre de l’argent. La courte durée de vie rend l’économie très dépendante du rythme des requêtes. Enfin, le cache est conservé côté fournisseur : il faut vérifier sa compatibilité avec les exigences de conservation des données de l’entreprise, et ne pas compter sur lui pour corriger une requête mal construite, qui reste lue en entier par le modèle.
Idées reçues
- « Avec le cache, le modèle se souvient des conversations précédentes. »
Non : il reprend seulement un calcul déjà fait sur un début de texte identique. Le modèle relit toujours tout le contenu, et rien n’est appris [1].
- « Une fois le cache activé, la facture baisse forcément. »
L’écriture en cache peut coûter plus que le tarif normal [3] ; si le même début n’est pas relu avant expiration, l’opération est perdante.
- « Le cache renvoie la même réponse à la même question. »
Le prompt caching ne réutilise que la lecture du préfixe ; la réponse est générée à nouveau à chaque fois, sans perte de qualité [1].
Sources
- Gim, Chen, Lee, Sarda, Khandelwal et Zhong, « Prompt Cache: Modular Attention Reuse for Low-Latency Inference », 2023
- Zheng et al., « SGLang: Efficient Execution of Structured Language Model Programs », 2023
- Anthropic, « Prompt caching », documentation, 2026
- Anthropic, « Prompt caching with Claude », 2024
- OpenAI, « Prompt caching », documentation, 2026