Quelques jours seulement après la sortie de Gemini Ultra et l’abandon de la marque Bard, Google dévoile par surprise Gemini 1.5 et annonce des records.
Auteur / Autrice :
Le jeudi 15 février 2014, trois grandes annonces ont été faites dans le domaine de l’intelligence artificielle :
- Gemini 1.5 de Google Deepmind – Alphabet
- Sora de OpenAI
- V-JEPA de Meta
Voici ce qu’il faut savoir sur Gemini 1.5.
Une semaine Gemini Ultra, Gemini 1.5
Début février, deux mois après son annonce en grande pompe, Google sortait enfin Gemini Ultra, le troisième et le plus puissant des trois modèles de la gamme Gemini.
La société en profitait au passage pour un rebranding bienvenu, effaçant le nom pas très attractif de « Bard » (à part peut-être si on pense à « l’Archer » du livre Le Hobbit ?) au profit du plus enthousiasmant nom de « Gemini ».
Et mi-février, contre toute attente, Sudar Pichai annonçait que ses équipes sont « prêts à introduire la prochaine génération » de Gemini, déjà !
Ce qui peut même sembler contre-intuitif puisque Gemini 1.5 Pro atteint une qualité comparable à celle de la version 1.0 Ultra lancée une semaine plus tôt après deux mois d’attente.
1 millions de tokens
Les jetons (ou tokens) peuvent être des parties entières ou des sous-parties de mots, d’images, de vidéos, de fichiers audio ou de code.
De fait, en dehors des performances, la grande nouveauté de Gemini 1.5 se trouve dans la fenêtre contextuelle totalement hors norme que le modèle propose : jusqu’à 1 million de tokens. Un record.
Ça représente :
- 1 heure de vidéo
- 11 heures d’audio
- plus de 30 000 lignes de code
- plus de 700 000 mots
Google indique aussi avoir testé avec succès « jusqu’à 10 millions de jetons ».
Attention cependant : la première version de Gemini 1.5 qui sera proposée sera de seulement 128 000 tokens. Ensuite, la société prévoit « d’introduire des niveaux de tarification qui commencent à la fenêtre de contexte standard de 128 000 et s’étendent jusqu’à 1 million de jetons, à mesure que nous améliorons le modèle ».
Pour le moment, l’accès à Gemini 1.5 est réservé aux développeurs et entreprises via les plateformes AI Studio et Vertex AI.
L’architecture MoE
Demis Hassabis explique de son côté que Gemini 1.5 bénéficie d’une nouvelle architecture Mixture-of-Experts (MoE), en plus de l’architecture Transformer :
« Alors qu’un Transformer traditionnel fonctionne comme un grand réseau neuronal, les modèles MoE sont divisés en réseaux neuronaux « experts » plus petits.
En fonction du type d’entrée fourni, les modèles MoE apprennent à activer sélectivement uniquement les voies expertes les plus pertinentes de son réseau neuronal. Cette spécialisation améliore considérablement l’efficacité du modèle. »
Il ne reste maintenant qu’à attendre pour pouvoir tester Gemini 1.5 et son million de tokens de contexte.
