D’après une note confidentielle issue de chez Google, les progrès fulgurants de l’open source réduisent largement l’avance qu’ont les grands acteurs de l’intelligence artificielle.
Auteur / Autrice :
L’IA open source bientôt plus puissante que OpenAI et Google ?
Une fuite d’un document interne provenant de chez Alphabet/Google laisse à penser que l’intelligence artificielle (IA) open source pourrait rapidement surpasser les capacités des versions privées des grands éditeurs, comme OpenAI.
« We have no moat, and neither does OpenAI »
Soit en français : « Nous n’avons pas de fossé, et OpenAI non plus. »
D’après ce document, au vu des progrès spéctaculaires récents des différents projets open source d’IA, les modèles propriétaires comme ceux de Google et OpenAI ne pourraient plus être en mesure de proposer une valeur ajoutée suffisante pour justifier leur monétisation, dans un futur proche.
Et pour cause, les modèles open source sont plus rapides, plus personnalisables, plus privés et proposent des niveaux de performances équivalents, surtout au regard des environnements sur lesquels ils sont déployés. Des environnements qui leur permettent d’être produits et utilisés contre un coût largement inférieur à celui des géants, de OpenAI/Microsoft à Google.
Deux exemples très parlants :
- Georgi Gerganov a réussi à optimiser LLaMA avec une quantification à 4 bits pour qu’il puisse fonctionner sur un CPU de MacBook, sans GPU (Elon Musk et sa récente commande de 10 000 GPU n’en dorment probablement plus la nuit)
- Une autre version de LLaMA tourne actuellement sur un simple smartphone Pixel 6 !
Et la personne qui rédige ce document leaké n’a pas beaucoup d’optimisme dans son expression :
« Si nos modèles conservent un léger avantage en termes de qualité, l’écart se réduit étonnamment vite. Les modèles open-source sont plus rapides, plus personnalisables, plus privés et plus performants. Ils font des choses avec des confugurations à 100 $ et des bases à 13 milliards de paramètres que nous avons du mal à faire avec des infrastructures à 10 millions de dollars et des bases à 540 milliards de paramètres. Et ils le font en quelques semaines, pas en quelques mois. »
Un constat limpide qui a dee quoi donner des sueurs froides, en effet. La personne poursuit, avec trois points :
Cela a de profondes implications pour nous :
- We have no secret sauce. Notre meilleur espoir est d’apprendre et de collaborer avec ce que d’autres font en dehors de Google. Nous devrions donner la priorité à l’activation des intégrations 3P.
- Les gens ne paieront pas pour un modèle restreint lorsque des alternatives gratuites et non restreintes sont comparables en termes de qualité. Nous devrions nous demander où se situe réellement notre valeur ajoutée.
- Les modèles géants nous ralentissent. Sur le long terme, les meilleurs modèles sont ceux qui peuvent être modifiés rapidement. Nous devrions faire des petites variantes plus qu’une réflexion après coup, maintenant que nous savons ce qui est possible dans la catégorie des bases à moins de 20 milliards de paramètres.
Une croissance fulgurante, difficile à suivre
Mais d’où vient ce sentiment de panique ?
En fait, tout est parti… de Meta ! Et oui ! Le 24 février 2023, l’entreprise derrière Facebook et Instagram dévoilait LLaMA (voir notre article), citée plus haut. Et quelques jours plus tard seulement, le 3 mars, les différentes bases LLaMA fuitaient sur internet !
Certes, sans instruction ou paramètres de tuning, et sans Reinforcement Learning from Human Feedback (RHLF), pourtant important pour une envisager une utilisation. Des manques qui n’ont pas été un frein à la communauté open source, qui s’est emparé du sujet : « Un formidable élan d’innovation a suivi » et quelques semaines plus tard « des variantes (de LLaMA NDLR) avec des instruction tuning, de la quantification, des améliorations de qualité, des évaluations humaines, de la multimodalité, et même du RLHF… « qui, pour la plupart, s’appuient les unes sur les autres ».
Mais surtout, la commnauté open source à totalement rééchelonné l’intelligence artificielle. Pour faire passer son utilisation technique (actuelle) d’une grande base profonde tournant sur de puissantes et couteuses infrastructures (OpenAI sur Azure chez Microsoft couterait plusieurs centaines de milliers de dollars par jours), à une technologie modulable qui peut au besoin s’adapter à la taille de base nécessaire ou à la puissance disponible :
« Le plus important est qu’ils ont résolu le problème de la mise à l’échelle de manière à ce que tout le monde puisse bricoler. Un grand nombre de nouvelles idées proviennent de personnes ordinaires. La barrière à l’entrée pour la formation et l’expérimentation est passée de la production totale d’un grand organisme de recherche à une personne, une soirée et un ordinateur portable puissant. »
Le « Stable Diffusion moment » des LLM
Le rédacteur poursuit :
« À bien des égards, cela ne devrait surprendre personne. La renaissance actuelle des LLM open source suit de près la renaissance de la génération d’images. Les similitudes ne sont pas perdues pour la communauté, beaucoup appelant cela le « Stable Diffusion moment » pour les LLM.
Dans les deux cas, la participation du grand public via une technologie accessible a été rendue possible par un mécanisme de fine tuning beaucoup moins onéreux, appelé « low rank adaptation », ou LoRA, combiné à une percée significative en termes d’échelle (latent diffusion for image synthesis, Chinchilla for LLMs). Dans les deux cas, l’accès à un modèle « high-quality » a déclenché une avalanche d’idées et d’itérations de la part d’individus et d’institutions dans le monde entier. Dans les deux cas, cela a rapidement dépassé les grands acteurs.
Ces contributions ont été déterminantes dans le domaine de la génération d’images, plaçant Stable Diffusion sur une voie différente de celle de Dall-E. L’existence d’un modèle open source a conduit à des intégrations de produits, à des marketplaces, à des interfaces utilisateur et à des innovations qui n’ont pas eu lieu pour Dall-E de OpenAI.
L’effet a été vite palpable : une domination rapide en termes d’impact culturel par rapport à la solution OpenAI, qui devenait de moins en moins pertinente. Il reste à voir si la même chose se produira pour les LLM, mais les grands éléments structurels sont les mêmes. »
Sur ce dernier point, difficile de donner tort au rédacteur, même si une nuance est à apporter : si effectivement Dall-E de OpenAI est désormais passé au second plan, et n’est jamais réellement arrivé jusqu’au grand public, ce n’est pas tant Stable Diffusion qui a pris la tête de la course, que MidJourney.
Enfin, le rédacteur incline en faveur d’une collaboration directe et immédiate avec le monde « ouvert » :
« Les innovations à l’origine des récents succès de l’open source résolvent directement des problèmes auxquels nous sommes toujours confrontés. En accordant plus d’attention à leurs travaux, nous pourrions éviter de réinventer la roue.
LoRA est une technique incroyablement puissante à laquelle nous devrions probablement accorder plus d’attention. LoRA représente les mises à jour de modèles comme des factorisations de rang faible, ce qui réduit la taille des matrices de mise à jour d’un facteur pouvant aller jusqu’à plusieurs milliers. Cela permet d’affiner le modèle à une fraction du coût et du temps.
La possibilité de personnaliser un modèle linguistique en quelques heures sur du matériel grand public est un atout majeur, en particulier pour les aspirations qui impliquent l’incorporation de connaissances nouvelles et diverses en temps quasi réel. Le fait que cette technologie existe est sous-exploité au sein de Google, alors qu’elle a un impact direct sur certains de nos projets les plus ambitieux. »
Small is beautiful : Des solutions à envisager très rapidement
Le rédacteur remet en question le fonctionnement général des travaux actuels, comme il le faisait précédemment lorsqu’il parlait d’ « éviter de réinventer la roue » :
« Nous devrions réfléchir à la question de savoir si chaque nouvelle application ou idée nécessite réellement un nouveau modèle. Si nous disposons réellement d’améliorations architecturales majeures qui empêchent la réutilisation directe des poids des modèles, nous devrions alors investir dans des formes plus agressives de distillation qui nous permettent de conserver autant que possible les capacités de la génération précédente.
L’efficacité de la LoRA tient en partie au fait que, comme d’autres formes de fine tuning, elle est superposable.
Des améliorations telles que l’instruction tuning peuvent être appliquées puis exploitées lorsque d’autres contributeurs ajoutent des dialogues, des raisonnements ou des outils. Si les ajustements individuels sont faibles, leur somme ne l’est pas nécessairement, ce qui permet aux mises à jour majeures du modèle de s’accumuler au fil du temps.
Cela signifie qu’au fur et à mesure que de nouveaux et meilleurs ensembles de données et de tâches deviennent disponibles, le modèle peut être mis à jour à peu de frais, sans jamais avoir à payer le coût d’une exécution complète.
En revanche, l’entraînement de modèles géants à partir de zéro jette non seulement le préapprentissage, mais aussi toutes les améliorations itératives qui ont été apportées. Dans le monde de l’open source, il ne faut pas longtemps pour que ces améliorations dominent, ce qui rend une nouvelle formation complète extrêmement coûteuse. »
Et il revient sur une idée déjà largement évoqué précédemment : « Les grands modèles ne sont pas plus performants à long terme si l’on peut itérer plus rapidement sur les petits modèles », expliquant que les updates LoRa ne coûte qu’une centaine de dollars (Satya Nadella et Sam Altman n’en dorment plus la nuit).
Le rédacteur ajoute : « Cela signifie que presque toute personne ayant une idée peut en générer une et la distribuer. Les temps de formation inférieurs à une journée sont la norme. »
Et il en vient au sujet principal : est-ce que l’open source peut rattraper son retard, et dépasser les géants, leur faisant alors perdre leur avantage concurrentielle, leur justification à la monétisation et donc, in fine, des milliards de dollars :
« À ce rythme, il ne faut pas longtemps pour que l’effet cumulatif de tous ces ajustements fins permette de surmonter un désavantage de taille au départ. En effet, en termes d’heures-ingénieurs, le rythme d’amélioration de ces modèles dépasse largement ce que nous pouvons faire avec nos plus grandes variantes, et les meilleurs sont déjà largement indiscernables de ChatGPT. Le fait de se concentrer sur la maintenance de certains des plus grands modèles de la planète nous désavantage en fait.
Qui paierait pour un produit Google avec des restrictions d’utilisation s’il existe une alternative gratuite et de haute qualité sans ces restrictions ?
Il fait aussi directement l’éloge du modèle open source : « Ce n’est pas pour rien que l’internet moderne fonctionne avec des logiciels open source. L’open source présente des avantages considérables que nous ne pouvons pas reproduire. »
Et il explique ensuite que :
« Il a toujours été difficile de garder notre technologie secrète. Les chercheurs de Google partent régulièrement pour d’autres entreprises, et nous pouvons donc supposer qu’ils savent tout ce que nous savons, et qu’ils continueront à le savoir aussi longtemps que le pipeline sera ouvert.
D’ailleurs, il explique aussi que même si OpenAI reste un environnement fermé, « nous partageons déjà tout avec eux sous la forme d’un flux constant de chercheurs seniors débauchés. Tant que nous n’aurons pas endigué cette vague, le secret n’aura aucune raison d’être. »
Mais il est encore plus difficile de conserver un avantage concurrentiel dans le domaine de la technologie maintenant que la recherche de pointe en matière de LLM est abordable. Les instituts de recherche du monde entier s’appuient sur les travaux des uns et des autres, explorant l’espace des solutions d’une manière qui dépasse de loin nos propres capacités. Nous pouvons essayer de garder nos secrets alors que l’innovation extérieure dilue leur valeur, ou nous pouvons essayer d’apprendre les uns des autres. »
Le rédacteur cite aussi la base de cette ébullition, le lancement de LLaMA de Meta il y a quelques semaines seulement :
« Une grande partie de cette innovation se produit sur la base des poids des modèles divulgués par Meta. Même si cela changera inévitablement au fur et à mesure que les modèles réellement ouverts s’amélioreront, le fait est qu’il n’est pas nécessaire d’attendre. La couverture juridique offerte par « l’utilisation personnelle » et l’impossibilité de poursuivre les individus signifient que les individus ont accès à ces technologies pendant qu’elles sont chaudes. »
D’ailleurs, il explique que c’est Meta le « grand gagnant » de cette effervescence du monde des LLM :
« Paradoxalement, le seul grand gagnant dans tout cela est Meta. Parce que le modèle de fuite était le leur, ils ont effectivement recueilli la valeur d’une planète entière de travail gratuit. Étant donné que la plupart des innovations open source se produisent au-dessus de leur architecture, rien ne les empêche de les incorporer directement dans leurs produits. »
Et il explique que les limitations d’une entreprise fermée cultivant son secret ne peuvent pas se confronter aux technologies issues de la créativité de milliers d’individus qui s’amusent pour leur propre environnement :
« Être votre propre client signifie que vous comprenez le cas d’utilisation
En parcourant les modèles créés dans l’espace de génération d’images, on constate un vaste déferlement de créativité, des générateurs d’anime aux paysages HDR. Ces modèles sont utilisés et créés par des personnes profondément immergées dans leur sous-genre particulier, ce qui leur confère une profondeur de connaissance et une empathie que nous ne pouvons espérer égaler. »
Enfin, il insiste sur le poids de l’open source dans l’histoire récente de Google, dans la position dominante sur le marché des smartphone que cela lui a offert, et sur le rôle similaire que pourrait prendre l’entreprise dans la voie de l’IA si elle se tournait vers l’open source :
« On ne saurait trop insister sur la valeur de la possession de l’écosystème. Google lui-même a utilisé avec succès ce paradigme dans ses offres open source, comme Chrome et Android. En détenant la plateforme où se produit l’innovation, Google s’affirme comme un leader d’opinion et un créateur d’orientation, gagnant ainsi la capacité de façonner le récit d’idées qui le dépassent.
Plus nous contrôlons étroitement nos modèles, plus nous rendons attrayantes les alternatives ouvertes. Google et OpenAI se sont tous deux tournés vers des modèles de publication défensifs qui leur permettent de garder un contrôle étroit sur la façon dont leurs modèles sont utilisés. Mais ce contrôle est une fiction. Toute personne cherchant à utiliser les LLM à des fins non approuvées peut simplement choisir parmi les modèles librement disponibles.
Google devrait s’imposer comme un leader dans la communauté des logiciels libres, en prenant les devants et en coopérant à la conversation générale plutôt qu’en l’ignorant. Cela implique probablement de prendre des mesures inconfortables, comme la publication des poids des modèles pour les petites variantes d’ULM. Cela implique nécessairement de renoncer à un certain contrôle sur nos modèles. Mais ce compromis est inévitable. Nous ne pouvons pas espérer à la fois stimuler l’innovation et la contrôler. »
Et il conclut en parlant brièvement de OpenAI, candidat légitime au poste de leader de l’IA depuis plusieurs mois, que le rédacteur renvoie dans les cordes avec ses arguments en faveur d’un monde de l’intelligence artificielle open source :
« Et en fin de compte, OpenAI n’a pas d’importance. Elle commet les mêmes erreurs que nous dans sa position par rapport à l’open source, et sa capacité à conserver une longueur d’avance est nécessairement remise en question. Les alternatives open source peuvent les éclipser et finiront par le faire, à moins qu’ils ne changent de position. À cet égard, au moins, nous pouvons faire le premier pas. »
Le texte originale est à retrouver en suivant ce lien.
