Meta a dévoilé le 22 août SeamlessM4T, un modèle d’intelligence artificielle capable de comprendre et traduire jusqu’à 100 langues dans différents canaux.
Auteur / Autrice :
SeamlessM4T, dernier logiciel de traduction dévoilé par Meta
« Construire un traducteur de langue universel, comme le poisson Babel fictif dans “Le Guide du voyageur galactique”, est un défi. Mais nous pensons que les travaux que nous annonçons aujourd’hui constituent un pas en avant important dans ce cheminement. »
SeamlessM4T est le tout dernier projet d’intelligence artificielle dévoilé par Meta, dans une longue liste particulièrement impressionnante. SeamlessM4T est un traducteur multilingue et multimodal, proposé gratuitement pour le moment (à des fins de recherche). Un outil qui peut comprendre et traiter près de 100 langues, à l’écrit comme à l’oral, développé pour « permettre aux utilisateurs de communiquer sans effort par la parole et le texte dans différentes langues ».
Le résultat est un outil basé sur les travaux et connaissance en intelligence artificielle de Meta, capable d’effectuer un large spectre de tâches de traduction :
- Reconnaissance vocale pour près de 100 langues
- Traduction parole-texte pour près de 100 langues d’entrée et de sortie
- Traduction parole-parole, prenant en charge près de 100 langues d’entrée et 36 langues de sortie (y compris l’anglais)
- Traduction texte à texte pour près de 100 langues
- Traduction de synthèse vocale, prenant en charge près de 100 langues d’entrée et 35 langues de sortie (y compris l’anglais)
« Par rapport aux approches utilisant des modèles séparés, l’approche système unique de SeamlessM4T réduit les erreurs et les retards, augmentant ainsi l’efficacité et la qualité du processus de traduction. »
SeamlessM4T est le dernier jalon d’une recherche de longue date chez Meta autour de la traduction : En 2022, le groupe derrière Facebook avait dévoilé « No Language Left Behind » (ou NLLB), un modèle de traduction automatique texte-texte prenant en charge 200 langues, « et qui a depuis été intégré à Wikipédia en tant que l’un des fournisseurs de traduction ». L’entreprise avait aussi dévoilée une première démonstration de Universal Speech Translator , présenté comme « le premier système de traduction parole-parole directe ».
Deux précédents projets qui ont ouvert la voie à SpeechMatrix, « le premier ensemble de données de traduction parole-parole multilingue à grande échelle, dérivé de SpeechLASER, une percée dans l’apprentissage des représentations supervisées ». Surtout, plus tôt en 2023, Meta avait dévoilé Massively Multilingual Speech, une technologie « qui fournit une technologie de reconnaissance vocale, d’identification des langues et de synthèse vocale dans plus de 1 100 langues ».
SeamlessM4T est donc la continuité de tous ces précédents travaux, et leur aboutissement :
« SeamlessM4T s’appuie sur les résultats de tous ces projets pour permettre une expérience de traduction multilingue et multimodale issue d’un modèle unique, construit à partir d’un large éventail de sources de données parlées avec des résultats de pointe. »
Une fonctionnement technique à l’état de l’art
Dans l’article publié sur son blog IA, Meta précise l’environnement technique et le mode de fonctionnement de SeamlessM4T :
La création d’un modèle unifié nécessite une boîte à outils de modélisation de séquence légère et facilement composable avec d’autres bibliothèques de l’écosystème PyTorch modernes. Nous avons repensé fairseq, notre boîte à outils originale de modélisation de séquences. Avec des API de modélisation et de chargement de données plus efficaces, fairseq2 contribue à alimenter la modélisation derrière SeamlessM4T.
Pour le modèle, nous utilisons l’architecture de modèle multitâche UnY, capable de générer directement du texte et de la parole traduits. Cette nouvelle architecture prend également en charge la reconnaissance vocale automatique, les traductions texte-texte, texte-parole, parole-texte et parole-parole qui font déjà partie du modèle Vanilla UnY.. Le modèle multitâche UnY se compose de trois composants séquentiels principaux. Les encodeurs de texte et de parole ont pour tâche de reconnaître la saisie vocale dans près de 100 langues. Le décodeur de texte transfère ensuite cette signification dans près de 100 langues pour le texte, suivi d’un modèle texte-unité pour décoder en unités acoustiques discrètes pour 36 langues vocales. L’encodeur auto-supervisé, les composants parole-texte, traduction texte-texte et le modèle texte-unité sont pré-entraînés pour améliorer la qualité du modèle et pour la stabilité de la formation. Les unités discrètes décodées sont ensuite converties en parole à l’aide d’un vocodeur d’unité HiFi-GAN multilingue.
- Comment l’encodeur traite la parole
Notre encodeur vocal auto-supervisé, w2v-BERT 2.0, qui est une version améliorée de w2v-BERT qui améliore sa stabilité de formation et la qualité de sa représentation, apprend à trouver la structure et le sens de la parole en analysant des millions d’heures de parole multilingue. L’encodeur prend le signal audio, le décompose en parties plus petites et construit une représentation interne de ce qui est dit. Étant donné que les mots prononcés sont constitués d’un grand nombre de ces sons et caractères, nous utilisons un adaptateur de longueur pour les mapper grossièrement aux mots réels.
- Comment l’encodeur traite le texte
De même, nous disposons d’un encodeur de texte basé sur le modèle NLLB. Il a été formé pour comprendre des textes dans près de 100 langues et produire des représentations utiles à la traduction.
- Produire du texte
Notre décodeur de texte est formé pour prendre des représentations vocales codées ou des représentations textuelles. Cela peut être appliqué à des tâches dans la même langue, telles que la reconnaissance vocale automatique et des tâches de traduction multilingues. Par exemple, quelqu’un peut prononcer le mot « bonjour » en français et s’attendre à ce que le texte traduit en swahili soit « habari ». Avec la formation multitâche, nous exploitons les atouts d’un modèle de traduction texte-texte (NLLB) solide pour guider notre modèle de traduction parole-texte via une distillation des connaissances au niveau des jetons.
- Produire la parole
Nous utilisons des unités acoustiques pour représenter la parole du côté cible. Le composant texte-unité (T2U) du modèle UnY génère ces unités vocales discrètes sur la base de la sortie texte et est pré-entraîné sur les données ASR avant le réglage fin d’UniY. Un vocodeur d’unité HiFi-GAN multilingue est ensuite utilisé pour convertir ces unités discrètes en formes d’onde audio.
Meta explique aussi avoir développé et utilisé le modèle SONAR (Sentence-level mOdality- and laNguage-Agnostic Representations) pour travailler sur la recherche de similarité multilingue, et ainsi dépasser le problème de n’avoir que des données parole-texte et parole-parole, car « S’appuyer uniquement sur la parole humaine transcrite et traduite ne permet pas de s’attaquer à la tâche difficile de la traduction vocale dans 100 langues ».
La base de données SeamlessAlign
C’est avec cette technologie (présentée comme meilleure que les approches existantes LASER3 ou LaBSE) que Meta a pu effectuer « l’exploration » dans des données provenant de référentiels accessibles au public de données Web, sur des dizaines de milliards de phrases et 4 millions d’heures de parole. Au total, Meta a réussi à aligner automatiquement plus de 443 000 heures de parole avec des textes et créer environ 29 000 heures d’alignements parole-parole.
Meta a baptisé ce corpus SeamlessAlign, et explique qu’il s’agit du « plus grand corpus parallèle ouvert parole/parole et parole/texte en termes de volume total et de couverture linguistique à ce jour ». Et l’entreprise publie également les métadonnées de SeamlessAlign !
Multilingue et multimodal, SeamlessM4T est donc utilisable publiquement et gratuitement (à des fins de tests et de recherche), tout comme la base de données SeamlessAlign.
Comment tester SeamlessM4T
Pour essayer SeamlessM4T, rendez-vous sur l’interface de démo : https://seamless.metademolab.com/demo. Une interface de test est également proposée sur HuggingFace, dans un Spaces dédié : https://huggingface.co/spaces/facebook/seamless_m4t.
Pour aller plus loin :
- Publication principale : https://about.fb.com/news/2023/08/seamlessm4t-ai-translation-model/
- Publication sur le blog IA de Meta : https://ai.meta.com/blog/seamless-m4t/
- Le GitHub du projet (avec les bases) : https://github.com/facebookresearch/seamless_communication
