Le patron de Meta a dévoilé l’incroyable capacité de calcul qu’il vise à avoir pour continuer de développer un écosystème IA open source face aux modèles privé et payants de Microsoft et OpenAI.
Auteur / Autrice :
En 2024, Meta continue de livrer
D’après l’indice des milliardaires de Forbes, Mark Zuckerberg est actuellement la cinquième fortune mondiale, avec un capital total de 132,9 milliards de dollars. Il devance notamment Bill Gates, Larry Page et Warren Buffet, tous les trois à 120 milliards.
Mark Zuckerberg est aussi à la tête d’un réseau de services utilisés gratuitement par environ un humain sur deux sur terre, sur lequel il réalise de substantiels bénéfices grâce à la publicité. Et si le fiasco du Metavers lui a coûté entre 30 et 35 milliards de dollars, la douloureuse est passée, et soldée.
Désormais, depuis début 2023, c’est l’intelligence artificielle qui mobilise Mark Zuckerberg et ses équipes. Meta peut s’appuyer sur le français Yann Le Cun, qui a obtenu le prix Turing 2018 avec Geoffrey Hinton : les français connaissent surtout ce dernier comme « l’un des pionniers de l’IA », et pour son départ de Google en mai dernier suivi d’une tribune effrayée sur le développement de celle-ci.
Avec les fonds de Mark Zuckerberg, Yann Le Cun et Meta ont lancé en 2023 Llama, puis Llama 2 : des LLM capables de rivaliser avec les puissants GPT-3.5 et GPT-4 de OpenAI. Mais à la différence de OpenAI, Meta propose ses LLM en open source !
Plus largement, via FAIR et les différents labos de recherche du groupe, Meta a dévoilé ces derniers mois une large liste de projets IA stupéfiants :
Une liste loin d’être exhaustive, où on peut ajouter quelques projets (IA et non-IA) cités à la volée : React et React Native, Pytorch, Flow, Jest…
En regardant les choses objectivement (si l’on peut), il est difficile de nier que quand Mark Zuckerberg ne s’enfonce pas par dizaines de milliards dans un projet raté et un peu ridicule, il sait dépenser des sommes également conséquentes pour faire progresser la recherche informatique mondiale.
Mark Zuckerberg veut 600 000 H1 (!)
On ne sera alors pas surpris de voir que Mark Zuckerberg voit grand pour 2024 (et pas que pour son bunker).
L’intelligence artificielle sera à nouveau au coeur de ses préoccupations, et Meta bénéficiera d’une enveloppe budgétaire presque illimitée pour continuer son développement dans le secteur.
Le but ? Obtenir une « intelligence artificielle général » (ou AGI, avec certaines nuances), et la rendre « open source » de « manière responsable » afin qu’elle soit accessible à « tout le monde » dans « sa vie quotidienne ».
Ce qui va se traduire très concrètement par 350 000 processeurs H1 de Nvidia. Ces puces sont les plus recherchées du marché actuellement, jusqu’aux H2, et en détenir est même devenu un argument direct de recrutement dans la Silicon Valley.
Mais Meta ne va pas s’arrêter à – seulement – 350 000 H1, et va aller aussi chercher chez les autres fondeurs des ressources additionnelles. Au total, à la fin de l’année 2024, Mark Zuckerberg veut avoir équipé Meta de 600 000 équivalent H1 ! De quoi continuer d’équiper le AI Research SuperCluster…
Llama 3 arrive dans une roadmap chargée
Mark Zuckerberg annonce aussi que Llama 3 est en cours de développement (sans surprise) et qu’ils ont devant eux une « roadmap de futurs modèles » qui devrait plaire au public. Quand on regarde ce que Meta a dévoilé au cours de douze derniers mois, cette annonce ne devrait pas être prise à la légère.
Fun fact : Mark Zuckerberg parle à la fin de devices spécifiques pour utiliser l’IA, et évoque alors… le métaverse ! Et à ce moment, un léger tremblement interrompt une présentation jusque là parfaitement déroulée ! Mais @zuck évoque alors les Ray Ban spéciales que Meta a développé avec l’entreprise de lunettes, et qui sont pour le moment un joli succès.
Et quand on sait que le Apple Vision Pro pèse un âne mort, et ne peut pas être utilisé en mobilité, on ne peut que se dire que les Ray Ban Meta lancés il y a bientôt deux ans déjà peuvent avoir une avance intéressante sur le marché.
2024 sera une année charnière et chargée autour de l’IA chez Meta, et ailleurs.
