Google a réservé une surprise au monde de l’IA jeudi avec la sortie de Gemini Pro 1.5, une nouvelle version de son modèle d’IA de nouvelle génération récemment publié, Gemini Pro.
Une entreprise de la taille de Google annonce une nouvelle mise à jour n’est pas vraiment révolutionnaire, mais ce qui est important à propos de Gemini Pro 1.5, c’est à quel point il est meilleur et différent de la première version.
Gemini Pro 1.5 possède une fenêtre contextuelle nettement plus grande que tout autre modèle du marché, jusqu’à 10 millions de jetons contre, par exemple, 128 000 jetons pour GPT-4. Il est également désormais techniquement plus puissant que Gemini Pro 1.0 et Gemini Advanced 1.0 qui alimentent la version payante du chatbot Gemini.
Google affirme que son nouveau modèle est également plus fiable, capable de sélectionner des moments spécifiques et de fonctionner de manière native sur la vidéo, l’audio, les images et le texte. C’est un gros problème à mesure que l’IA s’implante dans le monde réel via des interfaces AR telles que les lunettes de soleil intelligentes Meta Quest, Apple Vision Pro ou RayBan.
Qu’est-ce qui rend Gemini Pro 1.5 si différent ?
Gemini Pro 1.5 a une longueur de contexte stupéfiante de 10 millions de jetons. C’est la quantité de contenu qu’il peut stocker dans sa mémoire pour une seule conversation ou réponse.
Cela suffit pour des heures de vidéo ou plusieurs livres dans une seule conversation, et Google affirme pouvoir trouver n’importe quelle information dans cette fenêtre avec un haut niveau de précision.
Jeff Dean, scientifique en chef de Google DeepMind écrit le X que le modèle est également doté de capacités multimodales avancées en matière de code, de texte, d’image, d’audio et de vidéo.
Il a écrit que cela signifie que vous pouvez « interagir de manière sophistiquée avec des livres entiers, des collections de documents très longues, des bases de code de centaines de milliers de lignes réparties dans des centaines de fichiers, des films complets, des séries entières de podcasts, et bien plus encore ».
Lors de tests « aiguille dans une botte de foin » où ils recherchent l’aiguille dans la grande quantité de données stockées dans la fenêtre contextuelle, ils ont pu trouver des informations spécifiques avec une précision de 99,7 %, même avec 10 millions de jetons de données.
Quels sont les cas d’utilisation d’une si grande fenêtre contextuelle ?
Tout en faisant la promotion du nouveau modèle, Google a montré sa capacité d’analyse vidéo sur le film muet de 45 minutes de Buster Keaton, « Sherlock Jr ».
En analysant une seule image par seconde, l’entrée nécessitait un total de 648 000 jetons. Les Gémeaux pourraient alors répondre à des questions sur le film telles que « parlez-moi du morceau de papier retiré de la poche de la personne » et donner le code temporel exact.
Les Gémeaux ont été capables de dire exactement ce qui était écrit sur le morceau de papier et le moment exact où le papier est affiché en entier à l’écran.
Dans un autre exemple, les développeurs ont pu réaliser un croquis rapide d’une scène, pas particulièrement bien dessiné et en utilisant l’art du bonhomme allumette. Il l’a donné à Gemini et lui a demandé de donner l’horodatage de cette scène particulière – Gemini a renvoyé l’horodatage exact avec précision en quelques secondes.
Autres avantages surprenants d’un contexte large
Un autre aspect qui n’a pas été largement évoqué est le potentiel de sauvegarde, d’apprentissage et même de création de nouvelles langues. Jim Fan, chercheur principal et expert en agents IA chez Nvidia, a souligné la capacité zéro shot de Gemini Pro 1.5 à comprendre la linguistique d’une manière surprenante.
Il écrit le X que : « la v1.5 apprend à traduire de l’anglais vers le kalamang uniquement dans son contexte, en suivant un manuel linguistique complet au moment de l’inférence. »
Le kalamang est une langue parlée par environ 200 personnes en Nouvelle-Guinée et les Gémeaux n’avaient aucune information sur la langue lors de sa formation initiale – ils n’avaient donc rien à tirer.
Pour le test, il a reçu 500 pages de documentation linguistique, un dictionnaire et environ 400 phrases parallèles ainsi que le contexte dans lequel elles s’appliquent. Il l’a utilisé pour apprendre la langue et être en mesure de proposer des traductions de n’importe quel mot ou expression de l’anglais vers le kalamang et inversement.
Quand pourrai-je utiliser Gemini Pro 1.5 ?
Gemini Pro 1.5 est déjà disponible pour certaines entreprises clientes utilisant Vertex AI ou le studio Generative AI de Google Cloud. À un moment donné, il s’agira du chatbot Gemini, mais lorsque ce sera le cas, le contexte maximum sera probablement plus proche de 128 000, similaire à ChatGPT Plus.
Il s’agit d’un moment qui change la donne pour le secteur de l’IA, à une époque où OpenAI a également lancé un modèle vidéo et Meta a trouvé un moyen d’utiliser la vidéo pour enseigner l’IA au monde réel.
Ce que nous constatons avec ces modèles multimodaux avancés, c’est l’interaction du numérique et du réel, où l’IA acquiert une compréhension plus profonde de l’humanité et de la façon dont NOUS voyons le monde.
- Google pourrait injecter son chatbot Gemini AI directement dans vos oreilles – voici ce que nous savons
- Je teste l’IA pour gagner ma vie – voici pourquoi Google Gemini est un gros problème
- ChatGPT a enfin de la concurrence – Google Bard avec Gemini vient de l’égaler avec une énorme mise à niveau
