En clair
Un médecin généraliste qui se spécialise en cardiologie ne refait pas toutes ses études : il ajoute une formation ciblée à ce qu’il sait déjà. L’affinage suit le même principe. On part d’un modèle généraliste, qui sait déjà lire, écrire et raisonner, et on lui montre des exemples du travail attendu, souvent quelques centaines ou quelques milliers. Il en ressort spécialisé.
La différence avec une consigne est importante. Écrire des instructions à un modèle, c’est lui laisser une note sur son bureau : elle doit être relue à chaque demande. L’affiner, c’est le former : le comportement est inscrit dans le modèle lui-même. On obtient un nouveau modèle, distinct de l’original, qu’il faut ensuite héberger, tester et maintenir.
L’affinage enseigne surtout une manière de faire : un style, un format, une façon de classer. Il est moins adapté pour faire retenir des faits précis et changeants, comme un catalogue de prix. Pour cela, mieux vaut fournir les documents au modèle au moment de la question, ce qui permet aussi de les mettre à jour sans rien réentraîner.
Un exemple
Un cabinet d’expertise comptable reçoit des milliers de factures aux formats disparates et veut en extraire toujours les mêmes champs, dans un format strict. Les consignes seules donnent des résultats corrects mais irréguliers. Le cabinet réunit deux mille factures déjà traitées à la main et affine un petit modèle sur ces paires « facture, résultat attendu ».
Le modèle affiné respecte le format sans longues instructions, répond plus vite et coûte moins cher par document qu’un grand modèle généraliste. En contrepartie, il faudra le réévaluer, et peut-être le réentraîner, quand les formats de factures évolueront.
Comment ça marche
L’affinage est une forme d’apprentissage par transfert : les poids issus du pré-entraînement servent de point de départ, et l’entraînement reprend sur un jeu de données réduit et ciblé. La méthode s’impose en traitement du langage en 2018. ULMFiT montre qu’avec 100 exemples étiquetés, un modèle pré-entraîné puis affiné égale un modèle entraîné de zéro sur cent fois plus de données 1. BERT installe ensuite le schéma « pré-entraîner, puis affiner » 2.
- RassemblerConstituer des exemples de la tâche, avec le résultat attendu.
- EntraînerPoursuivre l’entraînement du modèle de base sur ces exemples.
- ÉvaluerComparer au modèle d’origine sur des cas jamais vus.
- DéployerHéberger le modèle affiné et suivre sa qualité.
Si l’évaluation déçoit, on revient aux exemples : c’est le plus souvent là que se trouve le problème.
L’affinage complet modifie tous les poids, ce qui devient très lourd pour les grands modèles. Les méthodes dites efficaces en paramètres n’en entraînent qu’une petite partie. L’une des plus utilisées, LoRA, gèle les poids d’origine et ajoute à chaque couche de petites matrices entraînables : sur GPT-3, elle divise par 10 000 le nombre de paramètres à entraîner et par 3 la mémoire GPU nécessaire 3. L’adaptateur obtenu est un petit fichier que l’on charge par-dessus le modèle de base.
Les assistants conversationnels sont eux-mêmes le produit d’un affinage : un modèle pré-entraîné à prédire du texte est ajusté sur des démonstrations rédigées par des humains, puis par renforcement à partir de leurs préférences, pour suivre des instructions 4. Principal risque technique : l’oubli catastrophique, quand le modèle spécialisé perd une partie de ses capacités générales.
Ce que ça change pour une entreprise
L’affinage se justifie quand les consignes et la fourniture de documents ne suffisent plus : format de sortie très strict, ton de marque, vocabulaire métier, classification fine, ou volonté de remplacer un grand modèle par un petit, plus rapide et moins cher, sur une tâche étroite. Il se pratique sur des modèles à poids ouverts ; certains fournisseurs le proposent aussi en service sur leurs propres modèles 5.
Le coût réel est dans les données et dans la durée. Il faut des exemples nombreux, propres et représentatifs, ce qui demande du temps d’experts. Le modèle affiné est figé : quand une nouvelle génération de modèles sort, l’affinage est à refaire. Et il n’apporte pas de connaissances à jour. La règle d’usage est d’essayer d’abord de meilleures consignes, puis la recherche documentaire, et l’affinage en dernier.
Idées reçues
- « Affiner un modèle lui apprend les documents de l’entreprise. »
Il apprend surtout un style et un comportement. Pour répondre à partir de documents précis et à jour, la recherche documentaire (RAG) est plus adaptée et se met à jour sans réentraînement.
- « Un modèle affiné est forcément meilleur. »
Il est meilleur sur la tâche visée, si les exemples sont bons. Il peut devenir moins bon ailleurs, et des exemples médiocres dégradent le modèle.
- « L’affinage demande des moyens de laboratoire. »
Les méthodes comme LoRA n’entraînent qu’une fraction infime des poids. L’essentiel de l’effort porte sur la préparation des exemples.
Sources
- Howard et Ruder, « Universal Language Model Fine-tuning for Text Classification », 2018
- Devlin et al., « BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding », 2018
- Hu et al., « LoRA: Low-Rank Adaptation of Large Language Models », 2021
- Ouyang et al., « Training language models to follow instructions with human feedback », 2022
- OpenAI, « Model optimization », documentation officielle