Grand modèle de langage

LLM

Un grand modèle de langage (large language model, LLM) est un programme qui a appris, à partir d’immenses volumes de texte, à prédire la suite d’un texte, et qui s’en sert pour rédiger, résumer, traduire ou programmer.

Lecture : 3 minutes
Mis à jour le 8 octobre 2026
4 sources

En clair

Votre téléphone propose le mot suivant quand vous écrivez un message. Un grand modèle de langage fait la même chose, à une tout autre échelle : il a été entraîné sur une part considérable de ce qui s’écrit, livres, sites web, code informatique, et il a appris à deviner la suite la plus plausible d’un texte. Quand vous lui posez une question, il ne cherche pas la réponse dans une base : il l’écrit, un fragment de mot après l’autre.

Ce qui surprend, c’est tout ce que cette seule aptitude permet. Pour bien prédire la suite d’une démonstration, d’un contrat ou d’un programme, le modèle a dû capter une part de la grammaire, des faits, des styles et des raisonnements présents dans ses textes d’entraînement. Il n’a pourtant ni souvenir de vos échanges passés, ni accès au monde extérieur, sauf si l’application qui l’entoure les lui fournit.

Un exemple

Un service juridique reçoit chaque semaine des dizaines de contrats fournisseurs. Un grand modèle de langage en extrait les clauses sensibles (durée, pénalités, résiliation), les compare au modèle maison et rédige une note de synthèse pour le juriste.

Le juriste garde la décision : il relit les points signalés et vérifie les passages cités, car le modèle peut se tromper avec assurance.

Niveau technique

Comment ça marche

Presque tous les grands modèles de langage reposent sur l’architecture Transformer, publiée en 2017 ¹. Le texte est découpé en tokens ; le réseau calcule, pour chaque position, une probabilité pour chaque token possible à la suite, en retient un, l’ajoute au texte et recommence. On parle de génération autorégressive.

CollecterD’immenses volumes de texte sont rassemblés et découpés en tokens.
Pré-entraînerLe réseau apprend à prédire le token suivant.
AjusterIl est entraîné à suivre des consignes et à dialoguer.
UtiliserÀ chaque demande, il génère sa réponse token après token.

Les trois premières étapes ont lieu chez l’éditeur du modèle ; la dernière se répète à chaque utilisation.

L’entraînement se fait en deux temps. Le pré-entraînement consiste à prédire la suite de textes sur un corpus immense et non annoté. Viennent ensuite des ajustements, par affinage et par apprentissage par renforcement à partir de retours humains (RLHF), pour que le modèle suive des instructions et se comporte en assistant ⁴.

L’échelle a changé la nature de l’objet. GPT-3, en 2020, comptait 175 milliards de paramètres et a montré qu’un modèle assez grand pouvait accomplir une tâche à partir de quelques exemples donnés dans la consigne, sans réentraînement ². En 2023, le rapport technique de GPT-4 décrit un modèle qui accepte aussi des images et qui se classe parmi les 10 % de meilleurs candidats à un examen simulé du barreau ³.

Les limites découlent du même mécanisme : le modèle produit du texte plausible, pas du texte vérifié. Ses connaissances s’arrêtent à sa date de coupure, et tout ce qu’il sait d’une tâche précise doit tenir dans sa fenêtre de contexte.

Ce que ça change pour une entreprise

Un grand modèle de langage est un composant généraliste : le même modèle rédige, classe, extrait des données, traduit et écrit du code, sans projet d’entraînement spécifique. Les usages les plus sûrs sont ceux où un humain relit, ou ceux où l’erreur coûte peu : brouillons, synthèses, tri de demandes, assistance aux développeurs.

Le coût se compte en tokens, à l’entrée comme à la sortie, et varie fortement d’un modèle à l’autre. Les limites sont connues : réponses fausses mais assurées, connaissances figées à une date, résultats variables d’un essai à l’autre. Prévoyez une évaluation sur vos propres cas, et réglez la question des données confiées au fournisseur avant le déploiement.

Idées reçues

« Un LLM comprend ce qu’il dit comme un humain. »
La question reste débattue. Ce qui est établi : il calcule la suite la plus probable d’un texte, et cette méthode donne des réponses souvent justes, parfois fausses.
« Il va chercher ses réponses sur Internet. »
Non, sauf si on lui donne un outil de recherche. Par défaut, il répond à partir de ce qu’il a appris pendant l’entraînement.
« Il apprend de mes conversations en direct. »
Ses paramètres ne changent pas pendant l’usage. La réutilisation de vos échanges pour un entraînement ultérieur dépend des conditions du fournisseur.

Sources

Voir aussi

Modèles de langage
Transformer
L’architecture de réseau de neurones derrière presque toutes les IA génératives actuelles. Son idée clé : chaque mot regarde tous les autres pour en saisir le sens.
Le détail technique
Architecture de réseau de neurones présentée en 2017, fondée sur le mécanisme d’attention, qui traite tous les éléments d’une séquence en parallèle au lieu de les lire un par un.
Sources : Vaswani et al., « Attention Is All You Need », 2017 · Bahdanau, Cho et Bengio, « Neural Machine Translation by Jointly Learning to Align and Translate », 2014 · Devlin et al., « BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding », 2018 · Dosovitskiy et al., « An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale », 2020
Lire l’article
Modèles de langage
Token
L’unité de texte que lit et écrit un modèle : un mot court, un morceau de mot ou un signe de ponctuation. L’usage d’un modèle se compte et se facture en tokens.
Le détail technique
Le texte est découpé par un tokeniseur en unités tirées d’un vocabulaire fixe, souvent des fragments de mots. Un token représente en moyenne trois à quatre caractères en anglais.
Sources : Sennrich, Haddow et Birch, « Neural Machine Translation of Rare Words with Subword Units », 2015 · Anthropic, glossaire de la documentation Claude · Google, documentation de l’API Gemini, « Understand and count tokens » · Anthropic, documentation Claude, « Token counting »
Lire l’article
Pré-entraînement
La première et la plus longue phase de fabrication d’un modèle : il lit d’immenses quantités de textes et apprend à en prédire la suite. Il en tire une culture générale, avant toute spécialisation.
Le détail technique
Entraînement auto-supervisé sur un très grand corpus non étiqueté, typiquement par prédiction du token suivant. Il produit un modèle de base, ensuite affiné pour suivre des instructions.
Sources : Radford et al., « Improving Language Understanding by Generative Pre-Training », OpenAI, 2018 · Devlin et al., « BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding », 2018 · Brown et al., « Language Models are Few-Shot Learners », 2020 · Kaplan et al., « Scaling Laws for Neural Language Models », 2020 · Ouyang et al., « Training language models to follow instructions with human feedback », 2022 · Règlement (UE) 2024/1689 sur l’intelligence artificielle, article 53, EUR-Lex
Lire l’article
Modèles de langage
Hallucination
Une réponse fausse mais formulée avec aplomb : une citation inventée, un chiffre erroné. Le modèle ne ment pas, il produit le texte le plus plausible.
Le détail technique
Sortie plausible mais fausse, que n’étayent ni les données d’entraînement ni le contexte fourni. On la réduit en donnant des sources au modèle, en lui demandant de citer et en vérifiant ses sorties.
Sources : Ji et al., « Survey of Hallucination in Natural Language Generation », 2022 · Kalai et al., « Why Language Models Hallucinate », 2025 · Xu, Jain et Kankanhalli, « Hallucination is Inevitable: An Innate Limitation of Large Language Models », 2024 · Lewis et al., « Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks », 2020 · Tribunal fédéral du district sud de New York, Mata v. Avianca, Inc., décision sur les sanctions, 22 juin 2023
Lire l’article

En clair

Un exemple

Comment ça marche

Ce que ça change pour une entreprise

Idées reçues

Sources

Voir aussi

Transformer

Token

Pré-entraînement

Hallucination