La startup Stability AI attaque un autre axe de l’intelligence artificielle avec StableLM, sa réponse open source à GPT-4.
Auteur / Autrice :
Un nouvel axe pour Stability AI
Le 19 avril 2023, Stability AI, la société à l’origine du générateur d’images par “Stable Diffusion”, a ouvert un nouveau chapitre se son histoire, en dévoilant la version alpha de StableLM. Les deux dernière lettres de ce nom signifiant “Language Model”, comme dans l’acronyme désormais bien connu “LLM” pour “Large Language Model”.
Une manière pour la startup de poursuivre dans une voie ouverte et collaborative : “Stability AI continue de rendre la technologie fondamentale de l’IA accessible à tous”, explique la startup dans un billet de blog dédié.
Et plus largement :
“Les modèles de langage formeront l’épine dorsale de notre économie numérique, et nous voulons que chacun ait son mot à dire dans leur conception. Des modèles tels que StableLM témoignent de notre engagement en faveur d’une technologie d’IA transparente, accessible et solidaire :
- Transparence. Nous mettons nos modèles en open source afin de promouvoir la transparence et la confiance. Les chercheurs peuvent “regarder sous le capot” pour vérifier les performances, travailler sur les techniques d’interprétation, identifier les risques potentiels et contribuer à l’élaboration de mesures de protection. Les organisations des secteurs public et privé peuvent adapter (“peaufiner”) ces modèles open-source pour leurs propres applications sans partager leurs données sensibles ni renoncer au contrôle de leurs capacités d’IA.
- Accessible. Nous concevons nos modèles de manière à ce que les utilisateurs quotidiens puissent les utiliser sur des appareils locaux. Grâce à ces modèles, les développeurs peuvent créer des applications indépendantes compatibles avec du matériel largement disponible au lieu de dépendre des services propriétaires d’une ou deux entreprises. De cette manière, les avantages économiques de l’IA sont partagés par une large communauté d’utilisateurs et de développeurs. L’accès ouvert et précis à nos modèles permet à l’ensemble de la communauté universitaire et de recherche de développer des techniques d’interprétabilité et de sécurité allant au-delà de ce qui est possible avec des modèles fermés.
- Soutien. Nous construisons des modèles pour aider nos utilisateurs, pas pour les remplacer. Nous nous concentrons sur les performances efficaces, spécialisées et pratiques de l’IA – et non sur la quête d’une intelligence divine. Nous développons des outils qui aident les personnes et les entreprises ordinaires à utiliser l’IA pour libérer leur créativité, stimuler leur productivité et ouvrir de nouvelles perspectives économiques.”
StableLM, un petit ChatGPT très puissant et open source
Concrètement, Stability AI introduit une première version d’une intelligence artificielle conversationnelle, dans un fonctionnement très proche de celui popularisé par ChatGPT de OpenAI.
Et pour cette première version de StableLM, la start-up propose deux modèles comptant 3 milliards et 7 milliards de paramètres chacun (GPT-3 de OpenAI compte 175 milliards de paramètres), et introduit d’ores et déjà les prochaines versions, qui compteront “de 15 milliards à 65 milliards de paramètres”. Les modèles sont disponibles sur GitHub, via ce lien.
Et les bases de StableLM sont open source, alors la startup explique que “Les développeurs peuvent librement consulter, utiliser et adapter nos modèles de base StableLM à des fins commerciales ou de recherche, sous réserve des conditions de la licence CC BY-SA-4.0”.
Mais quelque soit la base utilisée, l’IA de Stability AI proposera de générer du texte et du code, et la startup veut démontrer avec ses “petits” modèles qu’ils sont tout à fait performant “avec un entraînement approprié”.
La startup explique aussi que la publication de StableLM s’appuie sur leur expérience en “open-sourcing earlier language models”, un travail fait avec EleutherAI : “Ces modèles de langage incluent GPT-J, GPT-NeoX et la suite Pythia, qui ont été entraînés sur l’ensemble de données open-source The Pile. De nombreux modèles de langage libres récents s’appuient sur ces efforts, notamment Cerebras-GPT et Dolly-2. {…} StableLM est entraîné sur un nouveau jeu de données expérimental construit sur The Pile, mais trois fois plus grand avec 1,5 trillion de tokens de contenu. Nous publierons des détails sur cet ensemble de données en temps voulu”.
Stability AI propose une plateforme d’essai de StableLM, disponible via ce lien. Elle n’est pour l’instant utilisable qu’en anglais, même si l’IA tente de formuler des choses en français, avec des résultats…particuliers : “Ca depend, j’mecrai à te demander au lieu d’obtenir d’avant de réponse, mais il y a un samsat de langues français en détails :).”
Il y a encore du chemin pour que StableLM soit un concurrent crédible de GPT-4 !
