La plate-forme vidéo d’IA LTX Studio est désormais ouverte aux utilisateurs qui peuvent se lancer et créer des courts métrages, des storyboards et d’autres productions génératives, le tout à partir d’une simple invite de texte.
J’ai eu un accès anticipé pour essayer LTX Studio et, en quelques minutes, j’ai pu transformer une idée en un court métrage complet d’une minute, avec narration, musique de fond et effets sonores.
Bien que tout ce dont vous avez besoin pour que cela fonctionne soit une idée, la plate-forme a été conçue par les propriétaires de Lightricks pour être personnalisable, même en modifiant les angles de caméra des clips.
Il est toujours en version bêta et il y a quelques bugs, certaines vidéos refusant catégoriquement de se générer. Il n’est pas non plus aussi photoréaliste que Sora, mais l’outil vidéo OpenAI ne sera disponible que plus tard cette année. Dans l’ensemble, être capable de transformer un texte en une production vidéo complète est une réussite impressionnante.
Comment fonctionne LTX Studio ?
Lorsque vous ouvrez LTX Studio pour la première fois, la première chose que vous verrez est une simple zone de texte, vous demandant de saisir l’idée du film ou un synopsis complet de la création souhaitée. Vous pouvez également voir une liste d’autres projets récents et des suggestions de concepts potentiels.
Dans ce qui ressemble un peu à une invite d’écriture Reddit, je lui ai donné la suggestion suivante : « Dans une ville de banlieue tranquille, l’imagination débordante d’une jeune fille donne vie à ses poupées, créant un monde magique qu’elle seule peut voir » et j’ai rapidement été proposait un écran de création de personnage.
À partir de là, vous pouvez définir l’esthétique visuelle, les proportions, l’inspiration et votre casting virtuel pour une sélection de personnages générés par l’IA. Ou si vous détestez ce que LTX Studio a créé, procurez-vous un réécrivain.
Des dizaines de modèles d’IA sont utilisés en arrière-plan pour générer le script, ajouter une narration vocale, une musique de fond, des effets sonores et des éléments d’image et vidéo.
Vous pouvez l’accepter « tel quel », personnaliser n’importe quel élément ou ajouter de toutes nouvelles scènes à votre production. C’est juste cela, présenté comme une production avec plusieurs plans dans une scène, plusieurs scènes dans la production et des personnages cohérents que vous pouvez étiqueter dans n’importe quel plan.
Créer des productions avec LTX Studio
Des dizaines de modèles d’IA sont utilisés en arrière-plan pour générer le script, ajouter une narration vocale, une musique de fond, des effets sonores et des éléments d’image et vidéo.
J’avais environ une journée pour jouer avec la plate-forme LTX Studio avant sa sortie générale, mais j’en avais fait le tour lorsqu’elle avait été annoncée pour la première fois par le PDG de Lightricks, Zeev Farbman, donc je savais à quoi m’attendre. Il a mieux fonctionné que ce que j’imaginais avec une première version.
Bien qu’il reste encore quelques problèmes à résoudre, le processus a été globalement impressionnant et constitue une nouvelle approche pour répondre au besoin de vidéos d’IA plus longues sans perdre le contrôle de la cohérence entre les personnages ou les environnements.
J’ai réalisé près d’une douzaine de vidéos de qualité variable, depuis un anime sur la recherche de fantômes dans les bois jusqu’à un drame de science-fiction sur un phénomène étrange arrivant sur un bateau de croisière spatiale – mais pour ce dernier, j’ai eu du mal à obtenir la cohérence du bateau de croisière.
Ma production préférée s’appelait Trails West, sur un groupe voyageant en Californie pendant la ruée vers l’or à la recherche de leur fortune – pour découvrir que la véritable fortune était en eux-mêmes.
Cela a nécessité très peu de retouches au-delà de quelques ajustements des images et de l’ajout de quelques effets sonores à différents points pour donner plus de vie aux scènes.
Une leçon que j’ai apprise en faisant cela, et que j’ai résolue dans la vidéo suivante sur une IA sensible, était le besoin de plus d’espace. Cela comprenait l’ajout de scènes coupées entières sans voix off pour aider le récit à mieux se dérouler.
Réflexions finales sur LTX Studio
Dans l’ensemble, il s’agit d’une plate-forme impressionnante qui, j’en suis sûr, continuera à s’améliorer à mesure que LTX Studios met à niveau les modèles sous-jacents. Il y a aussi tellement de personnalisation possible que même tel quel, avec suffisamment de temps et de patience, vous pourriez créer quelque chose de remarquable.
Il existe d’autres outils vidéo d’IA qui pourraient créer une vidéo plus réaliste, des outils vocaux avec une parole plus réaliste et nous avons la synchronisation labiale disponible dans Pika Labs et Runway – mais pour chacun d’eux, vous devez toujours créer une série de courts clips et ils ont une mauvaise cohérence de caractère.
LTX Studio a besoin d’une synchronisation labiale et d’un contrôle plus granulaire sur la voix off, il y a quelques bugs de génération qui doivent être résolus et ce serait bien d’avoir un moyen de conserver un seul plan plus longtemps – pour le moment, cela semble très nerveux et précipité.
Mais ce ne sont que de minuscules problèmes dans un contexte plus large, compte tenu des avantages d’avoir un seul endroit pour réaliser une vidéo avec plusieurs plans, contenu audio et personnages cohérents dans chaque scène.
- OpenAI Sora offert aux cinéastes pour la première fois : voici 7 des meilleures vidéos qu’ils ont créées
- J’ai eu accès au nouvel outil vidéo d’IA de Pika Labs et je n’arrivais pas à croire à la qualité des vidéos qu’il produisait.
- Runway vs Pika Labs : quel est le meilleur outil vidéo d’IA ?
