L’éditeur de ChatGPT voit ses factures s’envoler, et regarde du côté des alternatives, en considérant sérieusement commencer à produire des propres GPU.
Auteur / Autrice :
OpenAI fait face à la pénurie de processeurs
Depuis plusieurs années, la pénurie de processeurs a handicapé une partie des activités de beaucoup d’entreprises de nombreux secteurs d’activité : qu’il s’agisse de composants spécifiques dans l’automobile impossible à terminer sans puce, ce qui a ralenti la chaîne de production, ou d’objets du quotidien devenus soudainement indisponibles dans les rayons, les conséquences de la pénurie ont été observées un peu partout.
Avec la fin de la pandémie, les facteurs de production et de distribution ont pu retrouver une activité normale, et réduire en partie cette pénurie, sans la régler totalement. Mais avec l’arrivée de l’intelligence artificielle générative depuis un an maintenant, c’est tout un nouveau pan de l’industrie la plus gourmande en puissance de calcul qui fait exploser la demande.
D’autant que les entreprises d’IA n’ont pas besoin de processeurs standards, mais de GPU de pointe, capable de permettre de paralléliser des calculs faits sur des bases de données extraordinairement massives (comparées à celles d’une industrie classique).
Ces GPU sont généralement ceux que commercialisent l’entreprise américaine Nvidia, qui détiendrait aujourd’hui 80% de part de marché, notamment avec ces processeurs H100. Un quasi-monopole qui a fait s’envoler le cours en bourse de l’entreprise (lui permettant de dépasser les 1000 milliards de dollars), mais qui a aussi créé des embouteillages parmi les clients… et qui n’a donc pas permis de résorber la pénurie.
La start-up voudrait produire ses propres puces
OpenAI, qui produit ChatGPT (et les modèles GPT-3.5 et GPT-4) et l’IA de génération d’images DALL-E (dont la troisième génération vient de sortir), est l’une des entreprises les plus avancées du monde dans le domaine de l’intelligence artificielle générative, et donc de fait un grand consommateur de puces GPU, notamment achetées chez Nvidia. On estime que l’entreprise en aurait aujourd’hui plus de 10 000.
Un volume qui a un coût élevé, alors même que Nvidia et le rival AMD ont augmenté leurs prix ces dernières années, et ne feront aucun effort sur leurs modèles les plus demandées. Si OpenAI ne veut pas des GPU, xAI (Elon Musk), Meta (Mark Zuckerberg), Microsoft et bien d’autres mettront le prix.
Mais même si OpenAI achète les puces, avec les quelques 13 milliards investis par Microsoft (dont 11 milliards en début d’année), cela ne l’empêche pas de penser à long terme, et de réfléchir à se passer de la dépendance des producteurs, en produisant soi-même ses propres puces IA. D’autant que vouloir acheter des puces ne garanti pas d’en avoir autant que voulu : la pénurie frappe aussi de ce côté, comme s’en plaignait d’ailleurs Sam Altman, le CEO de OpenAI.
D’après les informations de Reuters parues le 6 octobre 2023, l’idée fait son chemin dans l’esprit de Altman. Une réflexion déjà suffisamment avancée pour que OpenAI ait évalué une “cible d’acquisition potentielle”, selon l’agence, citant des sources internes. OpenAI ne devrait pas en tout cas partir de zéro dans ce projet, et irait imiter ce qu’a fait Amazon, qui avait racheté la start-up israélienne Annapurna Labs en 2015, environ 350 millions de dollars.
Et OpenAI travaille aussi à un projet de terminal informatique maison, un “iPhone de l’intelligence artificielle”, développé avec l’ancien d’Apple Jony Ive. Or la création, la promotion, la commercialisation et la distribution d’un produit physique de haute technologie est un métier en soit, excessivement compliqué, et très différent de celui d’un simple éditeur de logiciel – ce qu’est in fine OpenAI. Les milliards de trésorerie de la start-up (actuels et à venir) ne seraient pas forcément suffisants pour développer de front, en partant de zéro, un terminal et une fonderie de processeurs maison.
Un dernier avantage à la conception de puces pour OpenAI serait une réduction des coûts de fonctionnement : Selon Reuters, faire tourner ChatGPT coûte très cher : “Chaque requête coûte environ 4 cents”, selon Stacy Rasgon, analyste chez Bernstein. Si les volumes de requête de ChatGPT venait à atteindre un dixième du volume traité par Google “il faudrait initialement environ 48,1 milliards de dollars de GPU et environ 16 milliards de dollars de puces par an pour rester opérationnel”.
Des coûts élevés qui permettraient d’amortir rapidement le développement d’une puce propriétaire, faite sur-mesure, si le projet s’avérait être un succès. Ce qui n’a par exemple pas été le cas pour Meta jusqu’à présent (mais les milliards alloués au metaverse n’ont probablement pas été placés au bon endroit, dans ce but).
Enfin, on peut citer au moins une entreprise créée relativement récemment et ayant commencé à produire ses propres puces, en plus de ses propres terminaux : Tesla. L’entreprise de l’ancien co-fondateur de OpenAI, Elon Musk, développe depuis plusieurs années ses propres processeurs DOJO, et le superordinateur qui va les exploiter. Tout en produisant des voitures, et demain des robots…
Mais – comme le rappelait avec orgueil Elon Musk lui-même récemment – Tesla a pris le sujet dans l’autre sens, en créant d’abord des produits physiques, avant de s’attaquer aux puces et aux IA. Et selon le propriétaire de Twitter, faire l’inverse sera très difficile pour OpenAI.
