En clair
Imaginez un grand cabinet de conseil qui compte des centaines de consultants. Quand une question arrive, l’accueil ne réunit pas tout le monde : il la confie aux deux ou trois personnes les mieux placées pour y répondre. Le cabinet dispose ainsi d’un savoir considérable, mais chaque dossier ne mobilise qu’une petite équipe. Un modèle construit en Mixture of Experts fonctionne de la même façon : il contient de nombreux sous-réseaux, appelés experts, et un aiguilleur décide lesquels doivent travailler sur chaque morceau de texte.
C’est ce qui explique les deux chiffres qui accompagnent désormais les lancements de modèles. Le premier, le nombre total de paramètres, mesure la taille du cabinet : tout ce que le modèle a pu apprendre. Le second, le nombre de paramètres actifs, mesure la taille de l’équipe réellement mobilisée pour chaque mot. C’est ce second chiffre qui détermine, pour l’essentiel, le temps de calcul et donc le prix de chaque réponse.
L’image a toutefois ses limites. Les « experts » ne sont pas des spécialistes du droit ou de la médecine désignés à l’avance : leur répartition des tâches émerge pendant l’entraînement et reste difficile à interpréter. Et tous les consultants doivent rester présents dans les locaux, même quand ils ne travaillent pas : le modèle entier doit être chargé en mémoire.
Un exemple
Un groupe d’assurance veut analyser en interne ses contrats et ses déclarations de sinistre, sans envoyer de données à un fournisseur extérieur. Son équipe technique compare deux modèles à poids ouverts de qualité voisine : un modèle classique, dit dense, et un modèle en Mixture of Experts beaucoup plus gros au total, mais dont la part active pour chaque mot est plus petite. Sur ses propres documents, le second répond plus vite et traite davantage de demandes simultanées sur le même serveur.
Au moment de dimensionner l’infrastructure, l’équipe découvre toutefois que le modèle MoE réclame bien plus de mémoire graphique, puisque tous ses experts doivent être chargés. Elle retient finalement le MoE pour le traitement de masse des sinistres, où le débit compte le plus, et garde le modèle dense pour un usage à faible volume sur une machine plus modeste.
Comment ça marche
L’idée remonte à 1991 : Robert Jacobs, Michael Jordan, Steven Nowlan et Geoffrey Hinton proposent un système composé de plusieurs réseaux distincts, chacun apprenant à traiter une partie des exemples d’entraînement, sous le contrôle d’un réseau d’aiguillage 1. Elle devient une technique de passage à l’échelle en 2017, quand Noam Shazeer et ses coauteurs chez Google introduisent une couche « à aiguillage clairsemé » pouvant contenir des milliers d’experts, dont un routeur entraîné ne retient qu’une petite combinaison pour chaque exemple. Ils annoncent une capacité multipliée par plus de 1 000 pour une perte d’efficacité de calcul limitée 2.
- DécouperLe texte reçu est découpé en tokens, traités un par un à chaque couche du modèle.
- AiguillerPour chaque token, le routeur attribue un score à chacun des experts de la couche.
- ActiverSeuls les quelques experts les mieux notés effectuent leur calcul ; les autres restent inactifs.
- CombinerLes sorties des experts retenus sont additionnées, pondérées par les scores du routeur.
- RépéterL’opération recommence à la couche suivante, avec un choix d’experts qui peut changer.
Le routeur et les experts sont entraînés ensemble ; on ajoute en général une pénalité pour répartir la charge et éviter que quelques experts reçoivent tout le travail.
Dans les grands modèles de langage, construits sur l’architecture transformer, ce sont en général les blocs de calcul situés après l’attention qui sont dupliqués en experts. À chaque couche et pour chaque token, le routeur attribue un score à chaque expert, retient les meilleurs et additionne leurs sorties pondérées. En 2021, le Switch Transformer de Google simplifie le procédé en n’envoyant chaque token qu’à un seul expert, et atteint des modèles d’un trillion de paramètres ; ses auteurs notent que la complexité, le coût des communications entre machines et l’instabilité de l’entraînement freinaient jusque-là l’adoption 3. Mixtral 8x7B, publié par Mistral AI en 2024, compte huit experts par couche dont deux sont retenus pour chaque token : 47 milliards de paramètres au total, 13 milliards actifs, pour des résultats égaux ou supérieurs à ceux de Llama 2 70B sur la plupart des tests 4. Kimi K3.1 Pro, annoncé par Moonshot AI en octobre 2026, pousse l’écart plus loin : 2 800 milliards de paramètres au total, 104 milliards actifs, soit moins de 4 % du modèle mobilisé pour chaque token 5.
Le calcul par token baisse, la mémoire non : tous les experts doivent être chargés, ce qui impose des grappes de processeurs graphiques pour les plus gros modèles. À quatre bits par paramètre, 2 800 milliards de paramètres représentent environ 1,4 téraoctet de poids. Le MoE ne doit pas être confondu avec un système multi-agents, qui fait dialoguer des modèles distincts : ici, il s’agit d’un seul réseau, entraîné d’un bloc, dont l’aiguillage se fait mot par mot et couche par couche. Les auteurs de Mixtral observent d’ailleurs que le choix des experts suit davantage la syntaxe que le domaine du texte 4.
Ce que ça change pour une entreprise
Le MoE est l’une des raisons pour lesquelles des modèles toujours plus grands restent vendus à des prix raisonnables : le fournisseur facture surtout du calcul, et ce calcul dépend des paramètres actifs, pas du total. Pour un acheteur, la conséquence pratique est de lire correctement les fiches techniques. Le nombre total de paramètres renseigne sur la capacité du modèle, le nombre de paramètres actifs sur sa vitesse et son coût par réponse, et aucun des deux ne garantit à lui seul la qualité sur vos propres tâches.
Pour qui héberge lui-même un modèle à poids ouverts, la facture se déplace vers la mémoire : un MoE géant exige des serveurs multi-GPU, même si chaque réponse ne sollicite qu’une fraction du réseau. Son exploitation est aussi plus délicate, car les performances dépendent de la répartition des experts entre machines et du volume de demandes simultanées. Enfin, l’aiguillage ajoute une couche de complexité au comportement du modèle, plus difficile à expliquer et à auditer quand un usage sensible l’exige.
Idées reçues
- « Chaque expert est spécialisé dans un métier : un pour le droit, un pour la médecine, un pour le code. »
La répartition émerge de l’entraînement et ne suit pas des disciplines lisibles. L’analyse de Mixtral montre que le choix des experts dépend davantage de la syntaxe que du sujet traité [4].
- « Un modèle de 2 800 milliards de paramètres dont 104 milliards actifs n’a besoin que de la mémoire d’un modèle de 104 milliards. »
Non : les experts non sollicités doivent quand même être chargés, car le choix change à chaque token. Les paramètres actifs réduisent le calcul, pas la mémoire nécessaire.
- « Un MoE, c’est plusieurs modèles indépendants qui se passent la main. »
C’est un seul réseau, entraîné d’un bloc, dont certaines couches contiennent des experts. L’aiguillage se fait pour chaque token et à chaque couche, pas à l’échelle d’une question entière.
Sources
- Jacobs, Jordan, Nowlan et Hinton, « Adaptive Mixtures of Local Experts », Neural Computation, 1991
- Shazeer et al., « Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer », 2017
- Fedus, Zoph et Shazeer, « Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity », 2021
- Jiang et al., « Mixtral of Experts », 2024
- Moonshot AI, « Introducing Kimi K3.1 Pro », 2026