Pika Labs a ajouté la possibilité de créer des effets sonores à partir d’une invite de texte pour ses vidéos d’intelligence artificielle générative.
Vous pouvez désormais faire grésiller le bacon, rugir les lions ou ajouter des pas à la vidéo de quelqu’un marchant dans la rue.
Il s’agit de la deuxième fonctionnalité audio ajoutée à la plate-forme Pika, rejoignant un outil de synchronisation labiale qui vous permet de donner une voix aux personnages des vidéos d’IA – ou des figurines d’action.
Les effets sonores ne sont actuellement disponibles que pour les abonnés du forfait Pro ou supérieur, mais seront probablement déployés plus largement dans les semaines à venir.
Comment sonnent les effets sonores de Pika Labs ?
Les sons sont impressionnants, générés à partir d’une simple invite de texte, ils reflètent généralement ce que l’utilisateur demande et, lorsqu’ils sont associés à une vidéo, donnent vie à ce clip.
La création d’effets sonores à partir de texte est un domaine en pleine émergence, avec d’autres outils comme MyEdit, AudioCraft et ElevenLabs offrant également des fonctionnalités similaires.
Je n’ai pas encore eu l’occasion de l’essayer moi-même, mais les exemples de vidéos de Pika Labs montrent du bacon grésillant dans une interdiction avec des crépitements réalistes et une grenouille.
Je ne peux pas confirmer s’il s’agit d’un coassement précis pour l’espèce car j’ai une connaissance très limitée des grenouilles, mais il inclut également le bruit de mouches lointaines bourdonnant.
Une autre vidéo fournit du son aux feux d’artifice, bien que ce ne soit pas aussi bon que la grenouille ou le bacon car le timing ne correspond pas au mouvement de la vidéo.
Quelle est la prochaine étape pour la vidéo IA ?
Bien que l’ajout de son à la vidéo soit impressionnant, il s’agit en quelque sorte d’un instrument contondant, qui transmet un bruit associé à la vidéo.
Ce dont le prochain grand développement a besoin, c’est de l’image au son où l’IA analyse l’image, l’utilise pour créer l’effet sonore et l’applique automatiquement.
Cela pourrait alors permettre de créer les sons parallèlement au clip vidéo à partir d’une seule invite. Par exemple, « du bacon grésillant dans une poêle » créerait une vidéo de bacon grésillant avec des sons associés sans étapes supplémentaires.
Un passage à la création basée sur une plateforme
Jusqu’à présent, la vidéo IA était un outil largement isolé. Vous créez un court clip et si vous souhaitez l’utiliser, vous l’exportez vers une autre application, où vous importez des sons, des effets et d’autres fonctionnalités nécessaires pour créer une vidéo convaincante.
Ce que nous commençons à voir de Pika Labs, avec Runway et ses propres outils d’IA vocale, de LTX Studio et de plateformes indépendantes comme FinalFrame.ai, est un guichet unique.
Ils fournissent un endroit où aller avec une idée et sortir une production, ou à tout le moins être capable de coupler le son et l’audio même si vous devez tout éditer ensemble dans quelque chose comme Adobe Premiere ou Final Cut Pro.
Nous sommes sur le point de pouvoir générer des films d’IA entièrement formés. Pas seulement les effets mais toute une production avec des personnages et du son. Le grand défi est et restera la cohérence.
- Le nouvel outil vidéo d’IA générative de Pika Labs dévoilé – et cela semble être un gros problème
- J’ai eu accès au nouvel outil vidéo d’IA de Pika Labs et je n’arrivais pas à croire à la qualité des vidéos qu’il produisait.
- Runway vs Pika Labs : quel est le meilleur outil vidéo d’IA ?
