L’assistant Project Astra AI vole la vedette sur Google I/O – et il fonctionne avec des lunettes intelligentes
Google vient de s’opposer au GPT-4o d’OpenAI avec son propre projet Astra. Cet agent IA universel est conçu pour être votre assistant dans les tâches de la vie quotidienne et exploite l’appareil photo et la reconnaissance vocale de votre téléphone pour donner des réponses.
Et Google a également fait une démonstration du projet Astra en utilisant des lunettes intelligentes.
Pour être clair, Astra arrive d’abord sur les téléphones et s’appellera Gemini Live, mais il a le potentiel de passer à d’autres facteurs de forme au fil du temps. Mais je peux dire que la démo présentée lors du Google I/O 2024 est impressionnante.
Google affirme que le projet Astra peut comprendre et réagir au monde comme le font les gens – et qu’il peut enregistrer et se souvenir de ce qu’il voit et entend pour comprendre le contexte et agir. Vous pouvez également lui parler naturellement sans subir de décalage.
Les agents qui alimentent le projet Astra ont été construits sur le modèle Gemini de Google et d’autres modèles spécifiques à des tâches. Il peut traiter les informations plus rapidement en traitant en continu les entrées vidéo et vocales.
Lors de la démo du Projet Astra, une personne a brandi un téléphone Android et a laissé la vidéo en direct de la caméra ouverte tout en posant une série de questions. Le projet Astra n’a pas manqué une miette.
Par exemple, en pointant l’appareil photo du téléphone vers une table et en lui demandant ce qui produit le son, Astra a trouvé un haut-parleur d’ordinateur. Ensuite, la femme a encerclé la partie supérieure de l’enceinte et a demandé à Astra de quoi il s’agissait. Elle a répondu correctement à un tweeter.
À partir de là, Astra a pu fournir une allitération créative sur un tas de crayons de couleur, identifier ce que fait une partie du code lorsqu’elle est pointée vers un écran d’ordinateur et identifier correctement le quartier de Kings Cross à Londres lorsque la caméra a été pointée vers la fenêtre.
Ensuite, les choses sont devenues vraiment intéressantes. L’employée de Google a enfilé une paire de lunettes intelligentes et elle a regardé un tableau et a demandé à quoi cela vous faisait penser en regardant une illustration. Qu’est ce que cela te rappelle? Le chat de Schrödinger, répondit Astra.
Tout en tenant un tigre en peluche à côté d’un golden retriever, Project Astra a été invité à trouver un nom de groupe à la volée. Réponse : Rayures dorées.
Dans l’ensemble, la compréhension spatiale et le traitement vidéo du projet Astra semblent impressionnants, et je suis impatient de voir où Google emmène cet agent IA. Il arrivera sur l’application Gemini plus tard cette année et nous avons hâte de le tester.
- ChatGPT avec GPT-4o — Je ne me souviens pas de la dernière fois où j’ai été aussi époustouflé par une technologie
- Google vient de répondre à GPT-4o avec une démo Gemini conversationnelle et utilisant la vidéo
- OpenAI GPT-4o est en cours de déploiement : voici comment y accéder