Google a été frappé par des plaintes et des réactions négatives de la part des utilisateurs cette semaine après que son chatbot Gemini AI ait commencé à créer des images historiquement inexactes de personnes.
L’IA a également commencé à refuser de générer certaines images impliquant la race, ce qui a conduit le géant de la recherche à désactiver la capacité de Gemini à créer n’importe quelle image d’une personne : vivante, morte ou fictive.
Il existe déjà des restrictions sur ce que les Gémeaux peuvent créer, notamment sur la production de représentations de personnes réelles. Le problème est que ces restrictions semblent être trop strictes, ce qui a entraîné des réactions négatives majeures.
Google dit qu’il résoudra le problème et étudie actuellement un moyen sûr d’ajuster les instructions.
Qu’est-ce qui n’a pas fonctionné avec les Gémeaux ?
Les Gémeaux eux-mêmes ne créent pas réellement les images. Le chatbot agit comme un gestionnaire intermédiaire, prenant les demandes, saupoudrant sa propre interprétation sur l’invite et l’envoyant à Imagen 2, le générateur d’images d’intelligence artificielle construit par le laboratoire DeepMind AI de Google.
Les problèmes semblent provenir de cette étape intermédiaire, celle de l’arrosage. Gemini dispose d’un ensemble d’instructions de base qui, bien que non confirmées par Google, agissent probablement comme un filtre de persité pour toute demande d’une personne effectuant une tâche quotidienne – pour une raison quelconque, cela a été appliqué à toutes les photos de personnes.
Yishan Wong, ancien PDG de Reddit et fondateur de Terraformation, une entreprise de reforestation liée au changement climatique écrit le X que la question des chiffres historiques a probablement pris Google par surprise.
« Ce n’est pas une chose déraisonnable à faire, étant donné qu’ils ont une audience mondiale », a-t-il déclaré à propos du filtre de persité. « Peut-être que vous n’êtes pas d’accord avec cela, mais ce n’est pas déraisonnable. Google n’a probablement pas anticipé ou voulu le résultat des personnages historiques qui devraient raisonnablement être blancs.
Quelles sont les implications ?
Ryan Carrier, PDG de l’agence de certification et de sécurité de l’IA pour l’humanité, a déclaré à Jugo Mobile qu’il y avait probablement un « filtre de persité codé en dur » dans les instructions Gemini. Il a déclaré que cela était « similaire à s’engager dans une action positive pour les images » et pourrait être illégal.
Il a déclaré au Jugo Mobile : « Compte tenu des récentes décisions de justice selon lesquelles l’action positive équivaut à une discrimination inversée, ce filtre de « persité » est du mauvais côté de la loi, sans parler d’un écart significatif par rapport à l’exactitude.
J’ai essayé de reproduire une partie de l’invite, autour de la génération d’images de personnes de l’Angleterre médiévale, en utilisant ImageFX, l’outil d’image d’IA de Google Labs également construit sur Imagen 2. Cela contourne efficacement le filtre de persité dans Gemini et interroge directement le modèle. .
Cela reflétait correctement la réalité historique, plutôt que d’appliquer un filtre de couleur ou de race aux images et de respecter les règles de « discrimination positive » en vigueur au sein de Gemini.
« Cet événement est important car il s’agit d’une démonstration majeure de quelqu’un qui donne un ensemble d’instructions à un LLM et dont les résultats ne sont absolument pas du tout ceux qu’il avait prédit », a déclaré Wong.
Que peut faire Google pour résoudre le problème ?
Ce n’est pas nécessairement un problème de cadre intermédiaire. ChatGPT fonctionne de la même manière lors de l’envoi de requêtes au modèle DALL-E 3 et Sora et les nouveaux modèles Stable Diffusion 3 utilisent une architecture de transformateur et des filtres lors de la génération d’images.
Le problème semble fermement ancré dans les restrictions imposées à Gemini par Google, que le géant de la recherche dit qu’il va corriger ; déclarant avoir « raté le but ».
« La génération d’images IA de Gemini génère un large éventail de personnes. Et c’est généralement une bonne chose parce que des gens du monde entier l’utilisent. Mais ici, on manque le but », a déclaré mercredi Jack Krawczyk, directeur principal de Gemini Experiences.
Krawczyk a été contraint de rester privé sur X après la réaction négative, cachant ses tweets à la majorité des utilisateurs, mais il a d’abord déclaré : « Nous travaillons à améliorer immédiatement ce type de représentations. »
- Les utilisateurs de Chrome peuvent désormais utiliser l’IA pour les aider à écrire n’importe quoi – voici comment cela fonctionne
- Google Gemini : tout ce que nous savons sur le modèle d’IA avancé
- Je teste l’IA pour gagner ma vie – voici pourquoi Google Gemini est un gros problème
