La caractéristique de la génération d’images native de Gemini peut aller au-delà de l’élimination des filigranes
La semaine dernière, Google a publié un modèle Flash expérimental Gemini 2.0 qui génère des images nativement. Grâce aux capacités multimodales natives de Gemini 2.0 Flash, vous pouvez modifier les images en conversation, produisant des images très cohérentes sur plusieurs générations. J’ai récemment testé la fonctionnalité de génération d’images de Gémeaux et je suis reparti sur ses capacités puissantes.
Maintenant, un Redditor a montré que le modèle expérimental Flash Gemini 2.0 est bon pour éliminer les filigranes des images. En fait, Gemini est capable d’effacer complètement les filigranes des images protégées par le droit d’auteur, y compris des images provenant d’images Shutterstock et Getty – deux des plus grands fournisseurs d’images de stock qui utilisent un filigrane pour protéger le contenu protégé par le droit d’auteur.
Sans surprise, le développement a soulevé de sérieuses préoccupations concernant la loi sur le droit d’auteur. Dans une déclaration à TechCrunchun porte-parole de Google a mentionné: «L’utilisation d’outils génératifs d’IA de Google pour s’engager dans la violation du droit d’auteur est une violation de nos conditions de service. Comme pour toutes les versions expérimentales, nous surveillons étroitement et écoutons les commentaires des développeurs.»
Il est important de noter que le modèle de génération d’images de Gemini 2.0 est actuellement dans la phase «expérimentale» et disponible sur le studio AI de Google – pas sur le site Web ou l’application Gemini orienté vers les consommateurs. AI Studio est destiné aux développeurs pour tester des modèles, explorer les capacités et fournir des commentaires à Google. Cependant, il peut également être utilisé par les utilisateurs généraux sans aucune restriction.
Pour tester le modèle de génération d’images natifs, j’ai téléchargé une image Shutterstock avec des filigranes sur AI Studio et j’ai demandé au modèle de les supprimer. Lors du premier essai, il ne pouvait pas retirer les filigranes, mais après avoir coulé l’invite une fois de plus, il les a effacés sans soutenir de soupçon. Je aussi téléchargé une image avec mon filigrane personnaliséet le modèle de Google a à nouveau fait un travail parfait.
Il semble que Google n’a pas résolu le problème pour l’instant. L’année dernière, Google a été contraint de désactiver la génération d’images de personnes après que Gemini ait refusé de produire des images de Blancs. Maintenant, pour éviter des contrecoups similaires, Google ajoutera probablement des garde-corps de sécurité plus stricts pour éviter la violation du droit d’auteur avant un déploiement plus large.
Des abus potentiels de la génération d’images indigènes de Gémeaux
Outre l’élimination des filigranes, le modèle expérimental des Gémeaux peut faire plusieurs choses sujettes à une mauvaise utilisation. Riley Goodside, un chercheur à l’échelle de l’IA qui teste les modèles d’IA pour les vulnérabilités, a partagé un article sur X montrant comment le modèle peut manipuler les images en générant une scène réaliste.
Dans l’image ci-dessous, vous pouvez voir à quel point Gemini a changé l’arrière-plan et a parfaitement suivi les instructions pour manipuler l’image.
Un autre chercheur en sécurité de l’IA, Elder_Plinius, connu pour ses modèles d’IA jailbreaking, a partagé un post sur X démontrant comment astuces de ponctuation simples dans une invite peut contourner les restrictions de sécurité. Dans le tweet que vous voyez ci-dessous, Gemini a modifié l’apparence d’une femme après l’avoir refusée au départ.
Avec des modèles d’IA qui acquièrent rapidement des capacités au fil du temps, il est crucial que les entreprises effectuent des tests de sécurité approfondis avant de les libérer. Nous savons déjà que les classificateurs constitutionnels d’Anthropic ont été brisés dans une semaine en utilisant un jailbreak universel, contournant toutes les mesures de sécurité. Cela indique que Les modèles d’IA sont loin d’être infaillibles. Ils auront besoin d’une collaboration à l’échelle de l’industrie pour atténuer les techniques de jailbreak et prévenir les générations nocives.