Larssen Consulting
Agents et outils

Routage de modèle

Model routing, LLM router

Le routage de modèle est un mécanisme qui examine chaque requête avant de la traiter et l’oriente vers le modèle le plus adapté, afin de ne payer la puissance d’un grand modèle que lorsque la tâche l’exige.

  • Lecture : 5 minutes
  • Mis à jour le 29 octobre 2026
  • 5 sources

En clair

Dans un hôpital, l’infirmière d’accueil ne soigne pas les patients : elle les oriente. Une entorse part vers un généraliste, une douleur thoracique vers un cardiologue, tout de suite. Personne n’imagine faire voir chaque rhume au chef de service : ce serait lent, coûteux, et le chef de service serait débordé. Le routage de modèle joue ce rôle de tri pour les demandes adressées à une IA.

Les modèles disponibles n’ont ni les mêmes capacités ni les mêmes prix, et l’écart de tarif entre le plus léger et le plus puissant est considérable. Or une grande partie des demandes reçues par une application est banale : reformuler une phrase, extraire une date, répondre à une question fréquente. Un petit modèle s’en charge très bien. Le routeur réserve les grands modèles, ou les modèles de raisonnement, aux demandes qui en ont vraiment besoin.

Le tri a son propre risque : une infirmière qui sous-estime un cas grave l’envoie au mauvais endroit. Un routeur qui juge mal une demande la confie à un modèle trop faible, et la réponse s’en ressent. Tout l’enjeu est donc de bien évaluer la difficulté et la gravité d’une demande avant d’y répondre.

Un exemple

Une compagnie d’assurance a déployé un assistant qui répond aux questions de ses conseillers. Au départ, toutes les demandes passaient par le modèle le plus puissant de son fournisseur. L’analyse des journaux montre que la majorité des questions portent sur des points simples : délai de carence, pièce à fournir, numéro de contrat. L’équipe installe un routeur : les questions simples vont à un modèle léger, les questions d’interprétation de clauses ou de litige à un grand modèle.

Pour éviter les mauvaises surprises, l’application ajoute elle-même une étiquette « sensible » à toute demande qui touche à un refus d’indemnisation : le routeur l’envoie alors systématiquement vers le grand modèle, quelle que soit sa formulation. Chaque mois, un échantillon de réponses du modèle léger est relu pour vérifier que le tri reste fiable.

Niveau technique

Comment ça marche

L’idée est formalisée en 2023 par Lingjiao Chen, Matei Zaharia et James Zou, à Stanford, avec FrugalGPT 1. Partant du constat que les tarifs des modèles accessibles par API diffèrent fortement, ils proposent notamment une « cascade » : la requête est d’abord confiée à un modèle bon marché, et n’est transmise à un modèle plus cher que si la réponse est jugée insuffisante. FrugalGPT apprend ainsi à répartir les requêtes entre différentes combinaisons de modèles 1. En 2024, l’équipe de RouteLLM, à l’université de Berkeley, entraîne des routeurs qui choisissent, avant toute génération, entre un modèle fort et un modèle faible, à partir de données de préférences humaines, et montre qu’on peut diviser le coût par plus de deux dans certains cas sans dégrader nettement la qualité 2.

  1. FiltrerÉcarter les modèles incompatibles avec la requête ou exclus par les règles d’accès et de budget.
  2. ÉvaluerUn classificateur estime le type de tâche, la difficulté et l’enjeu de la requête.
  3. ArbitrerLe routeur compare la qualité attendue de chaque modèle candidat à son coût.
  4. ExécuterLa requête est envoyée au modèle retenu, qui produit la réponse.
  5. EscaladerDans une cascade, une réponse jugée insuffisante est transmise à un modèle plus puissant.

La dernière étape n’existe que dans les approches en cascade ; un routeur simple décide une seule fois, avant la génération.

Les produits récents suivent ce schéma. L’Auto Router de Cloudflare, ouvert en bêta publique le 30 septembre 2026, s’active en désignant le modèle « cloudflare/auto » 4. Après avoir écarté les modèles incompatibles avec la requête ou exclus par les règles d’accès et de budget, un modèle de classification attribue à la requête des probabilités sur 14 catégories de tâches et une note de 1 à 5 sur quatre critères : complexité, ambiguïté, enjeu et dépendance au contexte antérieur 5. Le prix pèse d’autant moins dans le choix que la tâche est difficile. Limite notable pour les agents : seuls les derniers tours de la conversation, dans la limite de 8 Kio de texte, sont examinés 5. Une consigne laconique après une action risquée peut ainsi être sous-évaluée, d’où l’intérêt d’un indicateur de risque fourni par l’application elle-même.

Il ne faut pas confondre le routage de modèle avec le routage interne d’une architecture Mixture of Experts, qui oriente chaque token vers des sous-réseaux d’un même modèle : ici, ce sont des modèles distincts que l’on choisit, requête par requête. Anthropic décrit aussi un motif de conception appelé « routage », qui classe une entrée et la dirige vers un traitement spécialisé 3 : le choix du modèle en est un cas particulier. Le routeur peut enfin décider du niveau d’effort de raisonnement à accorder, et pas seulement du modèle.

Ce que ça change pour une entreprise

Le routage agit directement sur le coût par tâche, qui devient le vrai poste de dépense quand l’IA est utilisée à grande échelle ou par des agents qui enchaînent des dizaines d’appels. Il permet aussi de réduire le temps de réponse, puisque les petits modèles répondent plus vite, et de ne pas dépendre d’un seul fournisseur. On peut l’obtenir clé en main dans une passerelle d’IA ou le construire soi-même avec des règles simples, avant d’envisager un classificateur appris.

Les limites sont réelles. Un routeur se trompe parfois, et l’erreur coûte cher quand une demande grave est confiée à un modèle trop faible : il faut donc garder la main sur les demandes sensibles et mesurer régulièrement la qualité obtenue. Changer de modèle en cours de conversation peut rendre le comportement moins cohérent et faire perdre le bénéfice de la mise en cache du prompt, qui est propre à chaque modèle. Enfin, le routage complique l’audit : il faut savoir, pour chaque réponse, quel modèle l’a produite.

Idées reçues

  • « Le routage, c’est forcément de la qualité en moins. »

    Sur les tâches simples, un petit modèle fait souvent aussi bien qu’un grand. La perte se concentre sur les requêtes mal classées, et elle se mesure.

  • « C’est la même chose qu’un Mixture of Experts. »

    Non : un Mixture of Experts aiguille chaque token à l’intérieur d’un seul modèle, alors que le routage choisit entre des modèles distincts pour chaque requête.

  • « Le routeur comprend toujours ce qui est en jeu. »

    Il ne juge que ce qu’il lit, souvent les derniers échanges seulement. Pour les actions risquées, mieux vaut que l’application signale elle-même l’enjeu.

Sources

  1. Chen, Zaharia et Zou, « FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance », 2023
  2. Ong et al., « RouteLLM: Learning to Route LLMs with Preference Data », 2024
  3. Anthropic, « Building effective agents », décembre 2024
  4. Cloudflare, « Cut your AI spend with AI Gateway’s Auto Router », 2026
  5. InfoQ, « Cloudflare’s Auto Router Rates Each Request for Stakes, from the Most Recent Turns », 2026

Voir aussi