La groupe Meta avance ses pions dans l’intelligence artificielle, et dévoile LLaMA.
Auteur / Autrice :
Le vendredi 24 février 2023, Mark Zuckerbeg s’enthousiasme dans un post Facebook :
« Aujourd’hui, nous publions un nouveau modèle d’IA grand langage de pointe appelé LLaMA, conçu pour aider les chercheurs à faire avancer leurs travaux. Les LLM se sont révélés très prometteurs pour générer du texte, tenir des conversations, résumer des documents écrits et effectuer des tâches plus complexes comme la résolution de théorèmes mathématiques ou la prédiction de structures protéiques. Meta est attaché à ce modèle de recherche ouvert et nous mettrons notre nouveau modèle à la disposition de la communauté des chercheurs en IA. »
Une première annonce succincte, que son groupe Meta développe ensuite dans un billet de blog dédié.
Meta présente LLaMA
Meta présente donc LLaMA, un acronyme de « Large Language Model Meta AI ». Une technologie que le groupe dit conçue pour aider les chercheurs à faire progresser leurs travaux, « dans le cadre de l’engagement de Meta en faveur de l’open science ».
Une technologie que Meta décline en quatre versions, qui sont entrainées sur des bases de taille très différentes : 7 milliards, 13 milliards, 33 milliards, et 65 milliards de paramètres. En comparaison, GPT-3 de OpenAI utilise 175 milliards de paramètres.
Deux versions sont donc « light », car Meta explique qu’elles nécessitent ainsi beaucoup moins de puissance de calcul et de ressources, permettant un autre type d’usage.
Et ce choix est fait pour une raison bien précise : Meta reconnait que les dernières innovations du secteur (GPT-3…) sont talentueuses pour proposer une grande variété de texte via le NLP (Natural Language Processing). Mais l’entreprise explique – à raison – que l’accès complet à ces modèles reste limité pour les chercheurs, en raison des ressources nécessaires à l’entraînement et à l’exécution de ces modèles. Et cet accès restreint limite la capacité des chercheurs à « comprendre comment et pourquoi ces grands modèles linguistiques fonctionnent », ce qui a « entravé les efforts visant à améliorer leur robustesse et à atténuer les problèmes connus, tels que les biais, la toxicité et la possibilité de générer des informations erronées ».
Comme les grands IA générative de texe, « LLaMA » fonctionne en prenant une séquence de mots en entrée, et prédit un mot suivant, pour générer récursivement du texte. Pour entraîner leur modèle, Meta explique avoir choisi des textes provenant des « 20 langues comptant le plus grand nombre de locuteurs », en se concentrant sur celles dont l’alphabet est latin ou cyrillique.
Meta partage aussi une « carte de modèle LLaMA » sur GitHub, qui détaille la façon dont l’entreprise et les chercheurs ont construit cette « intelligence artificielle », en conformité à ce que souhaitent comme pratiques d’IA responsables les dogmes actuels.
D’ailleurs, Guillaume Lample, un français passé par Polytechnique et aujourd’hui « Research Scientist » au sein de « Meta AI Research » expliquait sur Twitter que Meta n’a utilisé pour LLaMA que « des ensembles de données accessibles au public », rendant leur travail « compatible avec l’open source et reproductible, tandis que la plupart des modèles existants reposent sur des données qui ne sont pas accessibles au public ou non documentées ». Contrairement à ce que font les principaux concurrents, dont CPT-3.
Une volonté affichée de légèreté, d’ouverture et de transparence qui dénote dans le monde sans pitié des IA génératives. Et qui devra se confronter aussi aux habituels problèmes qui sont observés partout, de Bing à Bard : « biais », les « commentaires toxiques » et les « hallucinations ».
Mais là encore, Meta prend le parti du partage et de l’enrichissement collectif, expliquant :
« Comme d’autres modèles, LLaMA partage ces défis.En partageant le code de LLaMA, d’autres chercheurs peuvent plus facilement tester de nouvelles approches pour limiter ou éliminer ces problèmes dans les grands modèles de langage. Nous fournissons également dans le document un ensemble d’évaluations sur des benchmarks évaluant les biais et la toxicité du modèle afin de montrer les limites du modèle et de soutenir les recherches futures dans ce domaine crucial. »
Un usage ouvert que l’entreprise restreint pour l’instant aux chercheurs universitaires, aux personnes affiliées à des organisations gouvernementales, à la société civile et au monde universitaire, ainsi qu’aux laboratoires de recherche industriels du monde entier, sous une licence non commerciale, pour éviter les utilisations abusives.
Si vous souhaitez faire une demande d’accès à LLaMA, vous pouvez utiliser le formulaire accessible via ce lien.
