Des chercheurs de Google ont publié un nouveau modèle d’intelligence artificielle capable de transformer une invite textuelle, un croquis ou une idée en un monde virtuel avec lequel vous pouvez interagir et jouer.
Nommé Génie, le modèle du monde virtuel a été formé sur le gameplay et d’autres vidéos trouvées en ligne et n’est actuellement qu’un aperçu de recherche. Les jeux sont plus un jeu de plateforme 2D que de la VR complète.
Bien que cela soit encore loin d’un véritable holodeck comme ceux de Star Trek, cela donne une indication qu’il pourrait un jour entrer dans une pièce et créer une aventure entièrement interactive à partir de quelques mots seulement.
Qu’est-ce que Google Génie ?
Dans le monde de l’IA, on parle d’ouvrir la boîte de Pandore ou de laisser le génie sortir de la lampe pour décrire la réalité de pouvoir créer du contenu avec relativement peu d’effort. La réalité est que, tout comme un humain passe des années à acquérir une compétence, les modèles d’IA nécessitent une formation approfondie.
Vous ne pouvez pas simplement frotter une lampe et espérer qu’un génie sortira, vous devez d’abord remplir la lampe de connaissances et de capacités. Dans le cas de Genie, cela provenait d’un « grand ensemble de données de vidéos Internet accessibles au public » et de nombreux efforts de la part des ingénieurs pour créer le code et les pondérations du modèle.
Chef d’équipe Google DeepMind pour Genie, Tim Rocktäschel, écrit le X que l’équipe s’est concentrée sur l’échelle, en utilisant un ensemble de données composé de plus de 200 000 heures de vidéo provenant de jeux de plateforme 2D.
Il a été formé sans supervision et à l’aide de vidéos non étiquetées. Cela lui a permis d’apprendre une gamme persifiée de mouvements, de contrôles et d’actions des personnages et de le faire de manière cohérente. En conséquence, « notre modèle peut convertir n’importe quelle image en un monde 2D jouable », a expliqué Rocktäschel.
externalsScriptLoaded.then(() => { window.reliablePageLoad.then(() => { var componentContainer = document.querySelector("#slice-container-newsletterForm-articleInbodyContent-j5f6RvxMHkUA7qERY6CcpA");
if (componentContainer) { var data = {"layout":"inbodyContent","header":"Get the BEST of Tom\u2019s Guide daily right in your inbox: Sign up now!","tagline":"Upgrade your life with the Tom\u2019s Guide newsletter. Subscribe now for a daily dose of the biggest tech news, lifestyle hacks and hottest deals. Elevate your everyday with our curated analysis and be the first to know about cutting-edge gadgets.","formFooterText":"By submitting your information you agree to the Terms & Conditions and Privacy Policy and are aged 16 or over.","successMessage":{"body":"Thank you for signing up. You will receive a confirmation email shortly."},"failureMessage":"There was a problem. Please refresh the page and try again.","method":"POST","inputs":[{"type":"hidden","name":"NAME"},{"type":"email","name":"MAIL","placeholder":"Your Email Address","required":true},{"type":"hidden","name":"NEWSLETTER_CODE","value":"XTG-D"},{"type":"hidden","name":"LANG","value":"EN"},{"type":"hidden","name":"SOURCE","value":"60"},{"type":"hidden","name":"COUNTRY"},{"type":"checkbox","name":"CONTACT_OTHER_BRANDS","label":{"text":"Contact me with news and offers from other Future brands"}},{"type":"checkbox","name":"CONTACT_PARTNERS","label":{"text":"Receive email from us on behalf of our trusted partners or sponsors"}},{"type":"submit","value":"Sign me up","required":true}],"endpoint":"https:\/\/newsletter-subscribe.futureplc.com\/v2\/submission\/submit","analytics":[{"analyticsType":"widgetViewed"}],"ariaLabels":{}};
var triggerHydrate = function() { window.sliceComponents.newsletterForm.hydrate(data, componentContainer); }
if (window.lazyObserveElement) { window.lazyObserveElement(componentContainer, triggerHydrate); } else { triggerHydrate(); } } }).catch(err => console.log('Hydration Script has failed for newsletterForm-articleInbodyContent-j5f6RvxMHkUA7qERY6CcpA Slice', err)); }).catch(err => console.log('Externals script failed to load', err));
Qu’est-ce que cela signifie vraiment?
Il existe de nombreux outils sur le marché qui peuvent prendre la maquette d’un site Web ou d’une application réalisée par un graphiste et la transformer en code.
Ce n’est pas toujours le meilleur code mais il crée un prototype fonctionnel qui peut être utilisé. Des outils d’IA existent également pour créer un site Web à partir d’une invite textuelle.
Avec Genie, vous pouvez essentiellement lui donner un croquis sur un morceau de papier, une œuvre d’art numérique parfaitement conçue ou même une représentation générée par l’IA d’un monde 2D et Genie fait le reste.
Il génère les images et autres ressources nécessaires pour transformer votre croquis en un monde ouvert entièrement réalisé, puis prédit la prochaine image de pixel en fonction des actions fournies par le joueur.
Les créateurs ont utilisé un tokenizer qui a compressé la vidéo en jetons discrets. Celui-ci est ensuite envoyé à un modèle d’action pour coder les transitions entre deux images comme l’une des huit actions latentes. Ensuite, un autre modèle est utilisé pour prédire les images futures.
La solution pour rassembler tout cela était la même que la percée OpenAI avait avec Sora : beaucoup de données et autant de puissance de calcul.
Que se passe-t-il ensuite avec Génie ?
Genie n’a pas de date de sortie et, en tant que projet de recherche, il n’est pas clair s’il deviendra un jour un véritable produit. Il est possible qu’un jour vous puissiez prendre l’un des meilleurs téléphones Android et demander à l’Assistant de vous créer un jeu pour esquiver les vampires, mais pas avant quelques années.
Ce qui est plus important, c’est la technologie sous-jacente et les nouvelles approches de génération de contenu développées lors de sa création, y compris l’apprentissage non étiqueté menant à des mondes ouverts.
Rocktäschel a appelé Sora sur X, en particulier l’idée qu’il s’agit d’un « modèle mondial ». Il a déclaré que même s’il est impressionnant et visuellement époustouflant, « un modèle mondial a besoin d’actions ». Ajoutant que « Genie est un modèle mondial contrôlable par l’action, mais formé sans aucune supervision à partir de vidéos. »
L’autre grande avancée apportée par Genie est une compréhension plus approfondie de la physique du monde réel, qui pourrait être utilisée pour entraîner des robots à naviguer plus efficacement dans des environnements ou à accomplir des tâches qui ne font pas partie de leur formation.
- 5 nouveaux gadgets étonnants que vous devez voir
- Je teste l’IA pour gagner ma vie – voici pourquoi Google Gemini est un gros problème
- Google a été critiqué pour avoir rendu Gemini Ultra AI plus impressionnant qu’il ne l’est en réalité
