En clair
Un processeur classique ressemble à un petit groupe d’experts : chacun traite très vite des tâches variées et compliquées, l’une après l’autre. Un GPU ressemble plutôt à un stade rempli d’écoliers qui font chacun une multiplication simple, tous en même temps. Pour rédiger un rapport, mieux vaut les experts. Pour faire des milliards de multiplications, le stade gagne largement.
Or un réseau de neurones, c’est exactement cela : des milliards de multiplications et d’additions très simples, qui peuvent se faire en parallèle. Afficher une image de jeu vidéo pose le même type de problème, puisqu’il faut calculer la couleur de millions de points à la fois. Des chercheurs ont donc détourné ces puces vers l’IA, avec des gains de vitesse considérables.
Aujourd’hui, les GPU destinés à l’IA remplissent des centres de données entiers. Leur disponibilité, leur prix et leur consommation électrique pèsent directement sur ce que coûte un modèle, à entraîner comme à utiliser. Quand vous interrogez un assistant en ligne, votre question est traitée sur des puces de ce type, dans un centre de données.
Un exemple
Une société veut faire tourner un modèle de langage en interne pour analyser des contrats sans les envoyer à l’extérieur. Elle doit choisir ses GPU en fonction de leur mémoire embarquée : le modèle doit y tenir en entier. Un modèle de 7 milliards de paramètres, à 2 octets par paramètre, occupe environ 14 gigaoctets. Un modèle dix fois plus gros doit être réparti sur plusieurs cartes.
Reste à décider entre l’achat et la location à l’heure auprès d’un hébergeur. L’achat se justifie si les cartes travaillent en continu ; pour un usage ponctuel ou encore incertain, la location évite d’immobiliser du matériel.
Comment ça marche
Un processeur central (CPU) compte un nombre limité de cœurs polyvalents. Un GPU en aligne des milliers, plus simples, conçus pour appliquer la même opération à de grandes quantités de données. Les calculs d’un réseau de neurones se ramènent pour l’essentiel à des multiplications de matrices, qui se parallélisent très bien.
NVIDIA date de 1999 l’invention du GPU et de 2006 la présentation de CUDA, qui ouvre ces puces au calcul scientifique 1. En 2009, une équipe de Stanford montre qu’un GPU entraîne certains réseaux jusqu’à 70 fois plus vite qu’un processeur à deux cœurs 2. En 2012, AlexNet est entraîné en cinq à six jours sur deux cartes dotées de 3 gigaoctets de mémoire chacune 3. En 2017, le plus grand des premiers Transformers l’est en trois jours et demi sur huit GPU 4.
La mémoire embarquée (VRAM) est la contrainte principale : les poids du modèle et les calculs intermédiaires doivent y tenir. Les grands modèles sont donc répartis sur plusieurs puces qui travaillent ensemble. Le GPU n’est pas le seul accélérateur : Google utilise par exemple ses propres puces, les TPU, pour faire tourner ses grands modèles 5.
Ce que ça change pour une entreprise
Peu d’entreprises achètent des GPU : la plupart en consomment indirectement, à travers le prix des services d’IA qu’elles utilisent. La question se pose directement dans trois cas : héberger un modèle en interne pour des raisons de confidentialité, affiner un modèle sur ses données, ou traiter des volumes tels que louer de la capacité devient plus économique que payer à l’usage.
Les contraintes sont matérielles. Les cartes haut de gamme coûtent cher, consomment beaucoup d’électricité et demandent un refroidissement adapté. Un GPU inoccupé coûte autant qu’un GPU qui travaille : c’est le taux d’utilisation qui fait la rentabilité. Enfin, le marché repose sur un petit nombre de fabricants, ce qui crée une dépendance sur les prix et les délais.
Idées reçues
- « Un GPU est un processeur plus puissant. »
Il est plus rapide pour les calculs simples et répétitifs, pas pour tout. Un ordinateur a toujours besoin d’un processeur central pour le reste.
- « Il faut des GPU pour utiliser l’IA. »
Pas pour l’utiliser en ligne : le calcul a lieu chez le fournisseur. La question ne se pose que si vous hébergez ou entraînez un modèle.
- « Plus de GPU, c’est une IA plus intelligente. »
Les GPU donnent de la vitesse et de la capacité. La qualité d’un modèle dépend aussi de ses données, de son architecture et de sa méthode d’entraînement.
Sources
- NVIDIA, chronologie officielle de l’entreprise
- Raina, Madhavan et Ng, « Large-scale Deep Unsupervised Learning using Graphics Processors », ICML, 2009
- Krizhevsky, Sutskever et Hinton, « ImageNet Classification with Deep Convolutional Neural Networks », NeurIPS, 2012
- Vaswani et al., « Attention Is All You Need », 2017
- Pope et al., « Efficiently Scaling Transformer Inference », 2022