Pika Labs, la plateforme vidéo d’intelligence artificielle met sa fonctionnalité d’effets sonores à la disposition de tous les utilisateurs. Il permet aux créateurs d’ajouter facilement du son à n’importe quelle vidéo, avant ou après la génération.
Lancés pour la première fois pour les abonnés au forfait Pro, les effets sonores proviennent d’un modèle texte-audio interne de Pika Labs qui tente de faire correspondre le texte de l’invite vidéo.
Cela amène la vidéo IA à une nouvelle dimension, en développant les outils de synchronisation vocale et labiale des personnages précédemment ajoutés à la plate-forme Pika Labs.
D’autres joueurs expérimentent également la vidéo IA avec l’espace sonore. ElevenLabs possède sa propre bibliothèque d’effets sonores et Runway dispose d’une fonction de synchronisation labiale à version limitée.
Mettre les effets sonores de Pika Labs à l’épreuve
Il existe deux manières d’ajouter des effets sonores à une vidéo dans Laboratoires Pikadans le cadre de l’invite initiale en basculant le commutateur des effets sonores, ou après coup avec une invite distincte.
J’ai essayé les deux pour cet examen pratique et j’ai constaté qu’à moins que vous n’ayez besoin de choisir le son, par exemple en spécifiant une période de l’année ou un bruit spécifique, la première approche donne de meilleurs résultats.
1. Le bar à Noël
Ceci est basé sur une image que j’avais créée pour une histoire précédente sur l’application musicale Suno AI, représentant un bar sur la lune à Noël. J’ai laissé l’invite de texte vide et j’ai activé le bouton Effets sonores pour voir dans quelle mesure il correspondrait à l’image.
Cela a fait un travail étonnamment bon. Un peu bruyant, mais certains des meilleurs bars le sont aussi. Cela ne rendait pas vraiment l’élément de Noël, mais la seule indication était un arbre dans un coin.
2. La supercar
Pour le premier test, j’ai donné à Pika Labs l’invite suivante et activé les effets sonores, permettant au modèle de suivre à la fois l’invite et la vidéo : « Une voiture de sport rouge et élégante dévalant une rue de la ville la nuit, laissant derrière elle une traînée de flou de mouvement. .»
Il capturait bien le mouvement et générait un effet sonore de régime moteur, mais il était étonnamment silencieux. J’ai dû augmenter le son dans iMovie pour l’entendre correctement, mais le son était globalement bon.
3. Barboter dans une piscine
C’est ce qu’on appelle le test d’éclaboussure. Dans quelle mesure il gère non seulement les sons de l’eau, mais aussi comment il le fait lorsqu’il est synchronisé avec une vidéo. J’ai utilisé l’invite : « Une personne dans les airs, se découpant sur un ciel bleu clair, sur le point de plonger dans une piscine étincelante. »
Il n’a pas particulièrement bien suivi l’invite en termes de visuels, même si cela ressemblait à peu près aux lignes de l’invite. Cela rendait le personnage plus sirène que personne, mais le son des éclaboussures était bon, tout comme les autres bruits généraux de l’eau.
4. La cuisine occupée
J’ai été vraiment impressionné par cette image que j’ai générée dans MidJourney. Cela semblait presque complètement flou, ce qui était impressionnant pour un modèle d’IA, mais il se concentrait juste sur la nourriture, mettant les chefs en arrière-plan.
Cela en faisait le candidat idéal pour tester les effets sonores de Pika Labs. Je lui ai simplement donné l’image et sélectionné les effets sonores, puis j’ai appuyé sur le bouton Générer. Il capturait bien le mouvement et créait des sons comme ceux d’une cuisine en activité.
5. Le feu d’artifice
Le test final est celui que j’ai utilisé jusqu’à présent pour tous les tests d’effets sonores : les feux d’artifice. Cela devrait être facile, mais le défi consiste à synchroniser le son avec l’explosion.
J’ai utilisé l’invite : « Une explosion de feu d’artifice vibrante illuminant un ciel nocturne, avec des étincelles de différentes couleurs rayonnant vers l’extérieur. » Cela n’a pas fait un mauvais travail étant donné qu’il n’y avait aucune synchronisation manuelle, cela a été entièrement réalisé par le modèle d’IA.
Conclusion
Les effets sonores ajoutent une dimension importante au contenu vidéo d’intelligence artificielle, et en fait, ils ajoutent une dimension significative à tout contenu vidéo.
Vous pouvez presque entendre le bruit d’une voiture qui fait tourner ses moteurs rien qu’en regardant l’image et il est donc essentiel que les sons ne soient pas seulement corrects mais correctement synchronisés.
C’est quelque chose que Pika Labs semble avoir réalisé avec son outil. Il n’est pas parfait, il n’obtient pas toujours exactement le bruit souhaité, mais il est conçu avec suffisamment de flexibilité pour pouvoir être utilisé comme une idée jetable ou pour une production complète et orchestrée.
- J’ai essayé le nouvel outil musical AI Suno – voici à quoi ça ressemble
- Runway vs Pika Labs : quel est le meilleur outil vidéo d’IA ?
- Voici le holodeck : le nouveau modèle vidéo IA 3D crée des animations de n’importe quel objet
