Une annonce quelque peu passée inaperçue fin juillet mais qui montre que le milliardaire n’a pas perdu ses ambitions de revanche face à son ancienne start-up OpenAI.
Auteur / Autrice :
La Guerre de l’IA se poursuit, même si le champ de bataille évolue.
OpenAI peine à conserver son avance, ne parvient pas à sortir ses nouveautés (le générateur de vidéo IA « SORA » est attendu, le mode vocal de GPT-4o commence seulement à être proposé à quelques happy few, personne n’a entendu parler de Dall-E 4, etc…). Dans le même temps, Google accélère (sans convaincre) avec ses Gemini, Anthropic gagne en crédibilité et en notoriété avec ses Claude, et – surtout – Meta (Facebook) a presque pris la 1ère place des IA les plus puissantes du monde avec un LLM (Llama) proposé en open source (gratuit !).
Un résumé très concis, et qui omet un autre acteur dont on va parler plus loin.
Pour poursuivre cette course à l’armement, les entreprises (grands groupes et startups ambitieuses) ont recours à des datacenters toujours plus puissants, proposant des capacités de calculs toujours plus importantes.
Cependant, on ne sait pas encore objectivement si « est-ce que plus gros, mieux c’est ? ». La plupart des acteurs le pensent. Pas tous. La logique des partisans des supercalculateurs est la suivante : de meilleurs modèles d’IA = plus de calcul = des superordinateurs plus gros = des superclusters plus grands.
C’est dans cette logique qu’avance Elon Musk et sa start-up d’intelligence artificielle xAI lancée il y a maintenant un an.
Il faut revenir quelques mois en arrière et la levée de fonds de 6 milliards de dollars conclus par Musk et sa startup : dans la foulée, un accord avait été conclu en mars, d’après les informations de Forbes. Un accord portant sur la construction de la nouvelle « Gigafactory of compute » d’Elon Musk, qui a commencé presque immédiatement.
Si différents problèmes se sont posés et se posent encore autour du nouveau datacenter (sa consommation massive d’eau, notamment), le chantier a été très rapide.
Et il a permis à Musk de devenir l’heureux (et fier) propriétaire, à Memphis, du « cluster d’entraînement IA le plus puissant au monde ». Rien que ça.
Avec 100 000 processeurs H100 (de Nvidia), la puissance de calcul est en effet prodigieuse. On se rappellera l’ambition affichée par Mark Zuckerberg il y quelques mois d’avoir pour Meta d’obtenir à terme « 600 000 équivalents H100 ».
xAI dépasse toutefois probablement de plus de deux fois les capacités des meilleurs supercalculateurs actuels, comme Frontier et Aurora. Il semble que Dell et Super Micro fournissent les racks de serveurs, même si on sait que Nvidia est connu pour son écosystème très restrictif technologiquement – qui lui vaut d’ailleurs des procédures antitrusts en Europe comme aux Etats-Unis.
Un cluster IA comme celui de xAI pourrait théoriquement entraîner GPT-4 en une semaine, alors que certains estiment que le modèle réel a pris trois mois pour être formé !
De quoi faire naître de grandes ambitions, et de nouvelles promesses chez l’un des plus grands habitués du genre : Elon Musk himself. L’actuel homme le plus riche du monde (classement Forbes) pense que ce supercalculateur est « un avantage considérable pour former l’IA la plus puissante du monde, toutes métriques confondues, d’ici décembre de cette année. »
Grok 3 deviendrait donc « l’IA la plus puissante du monde » , bien que Grok 2 ne soit même pas encore sorti (un lancement ce mois-ci est prévu).
Elon Musk parviendra-t-il cependant à faire mentir certaines prédictions affirmant que les LLM ont largement atteint un plateau technologique, qu’il sera très difficile – et coûteux – de franchir ?
Quand on regarde ce comparatif des évolutions des LLM sur les dernières années, alors même que les milliards afflux depuis, autant que les cerveaux, on peut s’interroger sur la pertinence de poursuivre la guerre de la puissance de calcul dans cette direction.
Un autre comparatif avec un autre benchmark va dans le même sens :
Mais qu’importe : comme le disait Microsoft cette semaine à des actionnaires perplexes, les investissements actuels (plus de 30 milliards cette année pour le géant de Redmond) auront des retours sur investissement dans quinze ans, « et au-delà ».
