L’intelligence artificielle s’est révélée plus que compétente dans certains des jeux et énigmes les plus complexes, battant les humains aux échecs, au poker et au Go. Aujourd’hui, un YouTuber essaie d’enseigner les outils d’IA générative et de vision de l’IA pour jouer à Super Mario 64.
Josh Bickett a créé un nouveau framework d’IA qui permet à GPT-4-Vision, le modèle derrière ChatGPT, de jouer à une gamme de jeux et a commencé avec le classique de Nintendo.
Même s’il « pouvait » jouer au jeu, il n’a pas fait un travail particulièrement bon en raison de retards dans le traitement des informations. Ce que cela a démontré, c’est la puissance de la vision de l’IA.
La vision de l’IA est un domaine en croissance rapide, capable d’observer le monde réel et d’analyser ce qui se passe, puis de prendre des décisions en fonction de ce qu’elle peut voir. Cette approche s’avère particulièrement utile dans les robots et nous l’avons même vue dans les chatières intelligentes au CES.
Comment ChatGPT joue-t-il à Super Mario ?
À l’heure actuelle, vous ne pouvez pas simplement dire à ChatGPT « jouez à SuperMario 64 et gagnez », ce n’est pas si intelligent, mais les modèles sur lesquels il est construit ont le potentiel de faire bien plus que ce qu’ils peuvent faire dans le chatbot.
En utilisant le modèle de vision de l’IA, Bickett a créé un cadre de jeu multimodal. Il fonctionne en regardant l’écran et en déterminant ce qu’il peut voir, puis en dirigeant les commandes.
Le cadre de jeu multimodal prend une capture d’écran du jeu, prend une décision sur la marche à suivre, puis dirige l’action à l’aide de contrôleurs.
En testant à l’aide d’une émulation Web de Super Mario 64, il a été capable de détecter où Mario se trouvait à l’écran, le chemin et de dire à Mario d’avancer sur le chemin. Il peut également déterminer combien de temps maintenir la touche enfoncée pour la faire bouger, la faire sauter et esquiver des objets.
Dans quelle mesure ChatGPT joue-t-il bien à Super Mario ?
Le plus gros problème est le décalage. Il y a un long écart entre l’observation de l’écran par GPT-4-Vision et la décision sur ce qu’il faut faire faire à Mario, ce qui entraîne souvent le fait d’être frappé par un méchant.
« Ces modèles ont un peu de latence et j’ai trouvé que c’était le principal problème dans la façon dont ils naviguent et prennent des décisions. Il serait intéressant de savoir comment ce modèle fonctionnerait si la latence était inexistante », a demandé Bickett.
À la fin de la vidéo, après plusieurs itérations du code lors des tests, l’IA était capable de se déplacer, de sauter et d’interagir mais ce n’était pas parfait. Il a fait de mauvais choix et ressemblait plus à un enfant en bas âge appuyant sur des boutons qu’à un vrai joueur en train de jouer.
Qu’est-ce que cela signifie pour les jeux IA ?
Il ne s’agit que de la première version de l’outil et utilise un modèle d’IA exécuté dans le cloud. Cela a entraîné des problèmes de latence qui ont entraîné des retards dans la prise de décision. Il n’a pas non plus été peaufiné sur Super Mario 64.
À l’avenir, à mesure que la technologie s’améliorera, nous pourrions voir de véritables solutions, joueurs et guides basés sur l’IA pour n’importe quel jeu de votre bibliothèque.
Cela pourrait être alimenté par des modèles de vision d’IA locaux personnalisés fonctionnant sur un NPU local, tels que ceux des nouvelles puces Intel Core Ultra, présentant enfin un cas d’utilisation pour la nouvelle génération de PC IA.
- iOS 18 pourrait être la « plus grande » mise à jour iPhone jamais réalisée – voici pourquoi
- Apple teste Siri amélioré avec l’aide de ChatGPT
- L’iPhone 16 Pro pourrait surpasser les MacBook sur certains tests
