OpenAI et Microsoft continuent la course à la démesure, envers et contre tout, et construisent un superordinateur à 100 milliards de dollars pour leurs prochains modèles d’intelligence artificielle.
Auteur / Autrice :
Microsoft fait des emplettes
Il ne s’est pas passé très longtemps depuis que Mustafa Suleyman a quitté sa start-up valorisée quatre milliards de dollars pour un poste en CDI chez Microsoft.
Un poste de Head of AI, certes, mais qui continue d’interroger : comment un homme qui a en un an seulement créé et monté une entreprise (Inflection AI) de zéro à 4 milliards de dollars (avec une levée de fonds de 1,3 milliard) a-t-il pu décider de tout plaquer, encore un an plus tard ?
On sait cependant qu’un chèque de 650 millions de dollars a aidé à fluidifier la transaction, mais on sait aussi que Mustafa Suleyman est parti avec l’une des co-fondatrice Karén Simonyan et une soixantaine d’employés de Inflection AI chez Microsoft (soit presque toute la boîte).
Ce qui introduit bien la manière dont Microsoft joue la guerre de l’intelligence artificielle, comme elle a joué pendant longtemps la guerre du logiciel : à coup de milliards.
On peut supposer que Inflection AI avait un fondateur prestigieux (Mustafa a surtout co-fondé DeepMind), des capitaux en quantité, mais pas de business model. Il suffit de regarder les concurrents pour voir que les start-up d’IA peinent à engranger de l’argent (comme Cohere par exemple), et n’en gagnent pas.
Il y a une autre raison qui a pu pousser Mustafa dans les bras de Satya : la puissance de calcul, et le coût de celle-ci.
Stargate AI, un superordinateur dédiée à l’IA
ChatGPT est sorti il y a maintenant un an et demi, et pendant les quatorze mois qui ont suivi, tout a été très vite, et très loin.
D’un chatbot rigolo qui aide les étudiants à tricher, on a eu des modèles avancés qui font des choses beaucoup plus impressionnantes : GPT-4, Llama 1 mais surtout Llama 2, la suite de Claude dont le dernier est en train de devenir le nouvelle référence… Même Elon y a été de sa petite start-up (xAI) et se son petit modèle, Grok 1 (et ne pas va s’arrêter en si bon chemin : Grok 1.5 est pour la semaine prochaine).
On a aussi vu Midjourney émerger, et faire des émules : on ne compte plus les IA de générations d’images (voir nos meilleures recommandations ici et là) mais aussi les IA de génération de vidéo : Pika et Runway du côté des start-up, mais aussi Sora de… OpenAI.
Ce qui nous amène à Stargate AI.
Comme chacun sait, Microsoft a investi entre 11 et 13 milliards de dollars dans OpenAI en deux tours de table : un premier (d’un milliard) quand Elon a claqué la porte (à cause de l’égo surdimensionné de Sam Altman, et Elon s’y connaît en égo) en 2018. Un second après le succès ChatGPT/GPT-3.5 (et la validation de Bill Gates himself) et pour parfaire la finalisation de GPT-4, cette fois avec une enveloppe à onze chiffres.
L’Union européenne a ouvert une enquête sur ces investissements massifs de Microsoft dans OpenAI, et sur le sens réel que cela a : s’agit-il d’une acquisition de fait ? D’autant que Satya Nadella aurait dit : « If OpenAl disappeared tomorrow, we have all the IP rights and all the capability. We have the people, we have the compute, we have the data, we have everything. We are below them, above them, around them. » (ces éléments font partie de la plainte déposée par Elon Musk contre OpenAI).
Ce que disent surtout ces milliards, c’est combien coûte la place de leader sur le marché émergent de l’intelligence artificielle (générative). Former un modèle d’IA de pointe, capable d’aller tutoyer les performances des meilleurs (GPT-4 étant l’étalon depuis sa sortie), demande beaucoup de capacité de calcul, et donc beaucoup (beaucoup) d’argent.
C’est pour ça que Nvidia vaut actuellement 2258 milliard de dollars, soit 400 de moins que Apple, alors que l’entreprise valait ‘seulement’ 279 milliards le 15 octobre 2022. Dans une ruée vers l’or, les vendeurs de pioche s’enrichissent.
D’ailleurs, une part très importante des milliards de Microsoft pour OpenAI est constituée de crédits sur le cloud Azur du géant. Microsoft avait aussi créé spécialement pour OpenAI un premier supercalculateur.
Mais voilà, alors que GPT-5 peine à sortir (notamment pour des raisons juridiques trop peu médiatisées), alors que Claude 3 Opus vient de dépasser GPT-4 dans un classement fait cette semaine par 400 000 votes d’utilisateurs, alors que Mark Zuckerberg a pivoté les milliards du métaverse vers l’IA (avec raison et avec (d’ores et déjà) succès) et investira cette année d’autres dizaines de milliards pour obtenir 600 000 équivalent H1 (la puce phare de Nvidia), il faut pour l’Empire (Microsoft et OpenAI) jouer un nouveau coup majeur.
Ce coup majeur s’appellerait Stargate AI, d’après The Information. Stargate AI serait le nouveau supercalculateur qui permettrait à OpenAI et Microsoft de franchir certaines barrières technologiques. Un Supercomputer dont le coût serait de 100 milliards de dollars au total, soit de quoi acquérir « des millions de puces IA » – à priori des H1 mais aussi des Blackwell B100 et B200, ainsi que des processeurs maisons de Microsoft.
Alors, 100 milliards, ça peut avoir l’air petit bras quand on pense au prétendu plan à 7000 milliards qu’on a prêté à Sam Altman (sauf dans nos colonnes). Mais c’est quand même l’équivalent du PIB 2023 de la Bulgarie selon les chiffres du FMI.
C’est surtout un marqueur.
Il y a quelques semaines, les rookies français de Mistral AI ont atteint des performances équivalentes à GPT-4 avec leur dernier modèle le plus avancé. Mais avec une petite équipe d’une cinquantaine de personnes, une base open source (Llama de Meta, d’ailleurs), et surtout sans les milliards de Microsoft et en à peine quelques mois : Mistral AI a été fondé en avril 2023, il y a moins d’un an ! D’ailleurs, les trois cofondateurs français viennent de DeepMind (Arthur Mensch) et Meta (Guillaume Lample et Timothée Lacroix).
Ce qui confirmait le point de vue obtenu dans un leak célèbre l’année dernière : Les sociétés d’intelligence artificielle fermées n’ont pas d’avantage technologique majeur face à l’open source. « We have no moat » était-il écrit.
Faute davantage technologique, un avantage financier confère un avantage technique
Le véritable avantage des géants – peut-être même le seul en l’état actuel des choses – se trouve dans la capacité de calcul, et dans la capacité à se l’acheter.
OpenAI est très avare en détail sur ce qui se cache derrière Sora, son IA de génération de vidéos. La CTO de l’entreprise, Mira Murati, a récemment beaucoup bégayé quand il a fallu dire si ils avaient utilisé (massivement) des vidéos sur lesquelles ils n’ont pas les droits pour former Sora :
Mais ce qu’on sait en revanche de la documentation fournie, c’est que toutes les vidéos utilisées pour former Sora l’ont été dans leurs formats d’origines : types, dimensions, durée, rien n’a été optimisé. Et imaginer ce qu’il a fallu, et ce qu’il faut encore, pour former un modèle d’IA sur les données de millions de vidéos brutes est d’un ordre de grandeur très différent de celui pour former une IA basée sur du texte (ce qui est très léger).
Là encore, on ne peut que comprendre l’intérêt d’un nouveau supercalculateur « Stargate » pour faire tourner une IA qui crée des vidéos en consommant l’énergie d’une ville de taille moyenne (et sans avoir à priori les droits nécessaires sur les données utilisées).
Stargate pourrait terminer GPT-5, ou entraîner GPT-6. Stargate pourrait améliorer la suite Copilot dont Microsoft met de petits bouts un peu partout, de Bing à Excel. Stargate pourrait accélérer la sortie de Dall-E 4 (et mettre un coup technique à Midjourney, qui se rapproche de Elon Musk). Stargate pourrait faire en sorte que générer une vidéo avec Sora ne prenne pas une heure pour une minute. Stargate pourrait aussi permettre beaucoup d’autres choses que Sam Altman et Satya Nadella savent beaucoup mieux que votre serviteur.
Mais on peut cependant estimer que Stargate ne transformera pas des LLM dénués d’intelligence en une AGI consciente. Quelqu’un (impossible de le retrouver) comparaît récemment la succession de promesses faites tous les ans par Elon Musk à propos de « la conduite autonome qui arrivera l’année prochaine » à cette « AGI qui arrivera très bientôt » vantée par Sam Altman.
Mais des voix de plus en plus nombreuses se lassent de cette envolée lyrique basée sur pas grand chose de tangible : Les LLM font des choses, mais font aussi des hallucinations dont personne ne sait comment on en viendra à bout.
Et l’histoire de l’informatique est une histoire de course à la fiabilité : personne n’utiliserait un logiciel qui peut inventer des choses n’importe quand et qui sait à peine faire une multiplication pour mettre au point un logiciel destiné à des astronautes.
Des générations de chercheurs et de développeurs ont perfectionné la fiabilité de leurs outils en partant de bases rigoureuses. Un LLM n’est pas une base rigoureuse : un LLM est un gloubi-boulga dont les concepteurs ne comprennent pas tout, ce qui les empêche en conséquence de les optimiser finement, de les perfectionner et donc de les rendre fiables à 100%.
Le supercalculateur Stargate résoudra-t-il ce problème majeur ? Rien n’est moins sûr.
