En clair
Dans une grande entreprise, le courrier ne part pas de chaque bureau directement vers la poste : il passe par un service courrier. Celui-ci choisit le transporteur, vérifie l’affranchissement, refuse les envois interdits et tient un registre de ce qui sort. La passerelle LLM joue ce rôle pour les demandes envoyées aux modèles d’IA. Au lieu que chaque application, chaque agent et chaque équipe parle directement à son fournisseur, tous passent par le même guichet.
Ce guichet rend trois services. Il oriente chaque demande vers le modèle approprié, et bascule vers un autre si le premier est indisponible. Il applique les règles communes : qui a le droit d’appeler quoi, combien chaque équipe peut dépenser, quels contenus sont refusés. Et il note tout, ce qui permet de savoir enfin qui consomme quoi et pour quel coût.
Pour les agents, qui enchaînent des dizaines d’appels sans intervention humaine, ce point de passage obligé devient un poste de contrôle naturel : c’est là qu’on observe leur activité, qu’on plafonne leur consommation et, si besoin, qu’on leur coupe l’accès aux modèles.
Un exemple
Une société de services utilise trois fournisseurs de modèles : l’un pour son assistant interne, un deuxième pour ses agents de développement, un troisième, plus économique, pour classer les tickets de support. Chaque équipe a ses propres clés d’accès, et la direction financière découvre les factures en fin de mois sans pouvoir les rattacher à un projet.
L’équipe d’architecture installe une passerelle. Les applications ne changent qu’une adresse dans leur configuration, et les clés des fournisseurs sont désormais stockées à un seul endroit. Chaque équipe reçoit un budget mensuel, les réponses aux questions répétitives sont servies depuis un cache, et une panne d’un fournisseur déclenche automatiquement le repli vers un autre modèle. Le tableau de bord montre dès la première semaine qu’un agent mal réglé consommait à lui seul près du tiers des dépenses.
Comment ça marche
Le principe reprend celui des passerelles d’API, classiques dans les architectures web, appliqué aux appels de modèles. Cloudflare présente ainsi son produit comme un plan de contrôle qui permet de se connecter à n’importe quel modèle, d’acheminer dynamiquement les requêtes et de gérer usage, facturation et journaux depuis une passerelle unifiée 1. L’intégration est souvent légère : pour passer par la passerelle, une application remplace l’adresse de l’API du fournisseur par celle de la passerelle, qui relaie ensuite la requête, avec la possibilité d’y stocker les clés du fournisseur 2.
- RecevoirL’application ou l’agent envoie sa requête à l’adresse unique de la passerelle, et non au fournisseur.
- ContrôlerLa passerelle vérifie l’identité de l’appelant, son quota, son budget et filtre les contenus interdits.
- RouterElle sert la réponse depuis son cache ou transmet la requête au modèle choisi, avec repli en cas d’échec.
- JournaliserRequête, réponse, coût et durée sont enregistrés pour le suivi, la facturation interne et l’audit.
Une fois les appels centralisés, la passerelle peut y appliquer des fonctions transverses : mise en cache des réponses, limitation du débit, nouvelles tentatives en cas d’erreur et repli vers un autre modèle 3. Elle peut aussi exiger une authentification avant tout appel et filtrer les contenus jugés dangereux dans les requêtes comme dans les réponses, ce que Cloudflare appelle des garde-fous 4. Les journaux qu’elle produit servent à la fois au suivi des coûts, au diagnostic et à l’audit.
La passerelle ne voit que ce qui passe par elle : un agent ou un poste qui appelle directement un fournisseur lui échappe, d’où l’intérêt de bloquer les accès directs. Elle ajoute un intermédiaire, donc un peu de latence et un point de défaillance à surveiller, et elle concentre des données sensibles, les prompts et les réponses, qu’il faut protéger. Elle se distingue du routage de modèle, qui est l’une de ses fonctions possibles et non la passerelle elle-même ; du harness, qui pilote la boucle d’un agent ; et de MCP, qui relie les agents à leurs outils et non aux modèles.
Ce que ça change pour une entreprise
Dès que plusieurs équipes, plusieurs fournisseurs ou des agents autonomes entrent en jeu, la passerelle apporte ce qui manque le plus souvent : une vue d’ensemble des dépenses, des budgets par équipe ou par projet, des clés d’accès gardées en un seul endroit et la liberté de changer de modèle sans réécrire les applications 1. Elle devient aussi le lieu naturel pour appliquer la politique de sécurité de l’entreprise et pour garder des traces exploitables en cas d’incident ou de contrôle.
Elle a un coût : abonnement à un service ou exploitation d’un logiciel en interne, latence supplémentaire, compétences pour l’administrer. Elle crée une dépendance : si elle tombe, tous les usages de l’IA s’arrêtent, et un service tiers voit passer l’intégralité des prompts et des réponses, ce qui pose des questions de confidentialité et de localisation des données. Enfin, elle ne protège que ce qui la traverse : sans interdiction des accès directs aux fournisseurs, une partie des usages lui échappe.
Idées reçues
- « Une passerelle LLM rend les agents sûrs. »
Elle contrôle les appels aux modèles, pas ce que l’agent fait de leurs réponses avec ses outils. Elle complète les permissions, le bac à sable et la validation humaine, sans les remplacer.
- « C’est simplement un répartiteur de charge. »
Le routage n’est qu’une de ses fonctions. Elle authentifie, plafonne, met en cache, filtre et journalise.
- « Avec un seul fournisseur, une passerelle ne sert à rien. »
Le suivi des coûts par équipe, les quotas, le cache et les journaux d’audit restent utiles même avec un seul fournisseur.