Le fondeur américain Nvidia a profité d’une année sans précédent autour de l’intelligence artificielle pour dominer le marché des processeurs, et s’enrichir substantiellement.
Auteur / Autrice :
Les H100 de Nvidia ont dominé 2023
D’ordinaire, l’objet technologique le plus recherché est un smartphone dernier cri ou une console de jeu introuvable (chez les plus jeunes notamment). Mais cette année, l’objet le plus important de toute l’industrie technologique était un petit processeur inconnu du grand public : Le processeur H100 de Nvidia.
Un processeur si désirable que toutes les plus grandes entreprises du monde étaient prêtes cette année à en attendre la livraison (par centaines d’unités) pendant des mois, et à les payer tous au prix fort.
La puce H100 de Nvidia est sans doute devenue l’élément technologique le plus crucial dans le boom de l’intelligence artificielle générative qui bouleverse « la tech » et le monde depuis le 30 novembre 2022.
Avec ses 80 milliards de transistors, le H100 est un monstre de puissance incontournable pour former les grands modèles de langage (LLM) qui sous-tendent des applications comme ChatGPT d’OpenAI ou Gemini de Google. Un processeur si unanimement apprécié qu’il a donné à Nvidia la domination sur le marché des puces IA, et a fait passer à l’entreprise le cap symbolique des 1000 milliards de dollars de capitalisation.
Les délais de livraison des puces de Nvidia vont jusqu’à plus de six mois. « À l’heure actuelle, les GPU sont considérablement plus difficiles à obtenir que les médicaments », avait plaisanté Elon Musk au printemps 2023.
Un seul H100 coûte désormais 57 000 $ sur la boutique en ligne du fournisseur de matériel CDW – et les datacenter en regorgent par milliers, même chez des entreprises qui produisent déjà leurs propres puces comme Tesla et son Dojo D1.
Lorsque Jensen Huang, PDG de Nvidia, avait livré à OpenAI le premier serveur IA de l’entreprise, en 2016, équipé d’une ancienne génération de GPU, peu de gens auraient pu prédire le rôle que ces types de puces joueraient dans la révolution à venir inspirée de ChatGPT. Les cartes graphiques de Nvidia étaient alors surtout assimilées à l’univers du jeux vidéo, pas à celui du machine learning ou du deep learning.
Mais Jensen Huang a reconnu très tôt que leur architecture unique, adepte de ce qu’on appelle le calcul parallèle, serait mieux adaptée à la gestion du traitement massif et simultané des données requis par les modèles d’IA, par rapport aux processeurs informatiques traditionnels comme Intel : C’est le point fort des GPU par rapport aux traditionnels CPU.
Les concurrents compensent comme ils le peuvent
Pour soutenir l’intense R&D de OpenAI, son investisseur principal Microsoft a fini par construire un supercalculateur équipé d’environ 20 000 GPU Nvidia A100, le prédécesseur du H100.
Amazon, Google/Alphabet, Oracle et Meta ont rapidement passé des commandes tout aussi importantes de H100 pour développer leur infrastructure cloud et leurs data center spécialisés, que Jensen Huang appelle (malicieusement) désormais « AI factories ».
Les entreprises chinoises ont aussi vu venir le marché, et se seraient « empressées de stocker », selon Bloomberg, des versions inférieures des GPU de Nvidia, dont les performances étaient limitées en raison des contrôles américains mis en place sur les exportations de semi-conducteurs.
Comme évoqué, la valorisation de Nvidia a dépassé les 1 000 milliards de dollars (1 223 milliards à l’heure d’écrire ces lignes) et a fait grimper en flèche ses revenus. Au cours du dernier trimestre, les ventes de sa division « data center » ont atteint 14,5 milliards de dollars, soit près de 4 fois le CA de la même période un an plus tôt.
Mais une demande soutenue – presque insatiable – pour le H100 et une forme de « goulot d’étranglement des GPU » a également réveillé l’industrie sur les risques liés au fait de s’appuyer sur une seule entité pour un composant aussi critique de ses produits d’IA. D’autant que les rivaux AMD et Intel mettent un temps conséquent à rattraper leur retard.
Alors, les grands acteurs de la Tech ont du dépenser des sommes toujours plus importantes dans une course aux armements en matière de processeurs, pour investir dans la R&D ou pour pallier le manque.
Pour tenter de réduire les coûts et de réaliser des gains de performances, Google a investi de manière significative dans ses propres puces TPU, tandis qu’Amazon et Microsoft ont présenté récemment leurs propres processeurs IA, respectivement AWS Trainium2 et Microsoft Maia 100.
Toujours ces derniers mois, Intel a présenté son processeur Gaudi 2 et le place comme une alternative au H100, et AMD a déclaré que son MI300 le lançait dans la course au marché des puces IA (évalué à plus 400 milliards de dollars dans les prochaines années).
On peut aussi citer les ambitions de OpenAI : Sam Altman penserait qu’à long terme, investir dès maintenant dans une start-up de processeur pour la faire progresser rapidement vers des processeurs IA maison est un bon calcul. Un modèle qu’a choisi Amazon.
Quoi qu’il en soit, il n’est pas encore clair si cette nouvelle concurrence en matière de puces IA réduira vraiment l’avance de Nvidia en 2024, ni sa domination et ses parts de marché.
Surtout, le mois dernier, Nvidia a dévoilé le processeur H200, attendu pour le deuxième trimestre 2024.
Amazon et Google en aurait déjà fait de conséquentes réservations.
