- Le nouvel outil vidéo Modify de Luma Labs pour Dream Machine utilise l’IA pour modifier toutes les séquences vidéo sans reprise
- Tous les personnages ou environnements ne perdront pas leur mouvement ou leurs performances d’origine
- Tout ce qui, des ajustements subtils de la garde-robe, à la révision de la scène magique complète, est possible
Luma Labs est connue pour produire des vidéos d’IA à partir de zéro, mais la société a une nouvelle fonctionnalité pour sa machine de rêve qui peut transformer complètement de vraies séquences vidéo de manière subtile ou flagrante, même si ce n’est qu’un ancien film à domicile.
La nouvelle fonctionnalité vidéo Modify fait pour des vidéos quelque chose comme les meilleurs outils Photoshop pour les images. Il peut modifier le paramètre, le style d’une scène, même les personnages entiers, le tout sans relance, réanimation ou même se tenir debout.
La société se vante que l’édition vidéo de l’IA conserve tout ce qui vous importe de l’enregistrement original, tels que le mouvement des acteurs, le cadrage, le timing et d’autres détails clés, tout en modifiant tout ce que vous voulez.
La tenue que vous portez, ce que vous avez décidé n’était pas vous, est soudainement un ensemble de vêtements entièrement différent. Ce fort de couverture est maintenant un navire naviguant dans une mer orageuse, et votre ami qui se précipite sur le sol est en fait un astronaute dans l’espace, le tout sans utiliser d’écrans verts ou d’édition de baies.
La combinaison de Luma de mouvement avancé et de capture de performances, de style IA et de ce qu’il appelle des préréglages structurés permet d’offrir toute la gamme de vidéos repensées.
Tout ce que vous avez à faire est de télécharger une vidéo jusqu’à 10 secondes pour commencer. Choisissez ensuite parmi les préréglages adhérents, flexibles ou réinventés.
Adhérer est l’option la plus subtile; Il se concentre sur des changements minimaux, tels que l’ajustement des vêtements ci-dessous ou différentes textures sur les meubles. Flex le fait, mais peut également ajuster le style de la vidéo, de l’éclairage et d’autres détails plus évidents. La réimagine, comme son nom l’indique, peut tout refuser de tout sur la vidéo, l’emmener dans un autre monde ou refaire des gens dans des animaux de dessins animés ou envoyer quelqu’un debout sur une planche plate dans une race de Hoverboard cyberpunk.
Vidéo AI flexible
Tout dépend non seulement des invites, mais des images de référence et des sélections de trame à partir de votre vidéo si vous choisissez. En conséquence, le processus est beaucoup plus convivial et flexible.
Bien que la modification vidéo de l’IA ne soit guère unique à Luma, la société affirme qu’elle surpasse les rivaux comme Runway et Pika en raison de sa fidélité de performance. Les vidéos modifiées gardent le langage corporel d’un acteur, les expressions faciales et la synchronisation des lèvres. Les résultats finaux apparaissent comme un ensemble organique, pas seulement des bits cousus.
Bien sûr, les outils vidéo Modify ont des limites. Ceux-ci sont toujours plafonnés à 10 secondes par clip pour l’instant, ce qui maintient les choses gérables en termes de temps d’attente. Cependant, si vous voulez un film plus long, vous devez planifier et déterminer comment incorporer artistiquement différents plans dans un seul film.
Pourtant, des fonctionnalités comme la possibilité d’isoler les éléments dans un tir sont un gros problème. Parfois, vous avez une performance dont vous êtes très satisfait, mais c’est censé être un autre type de personnage dans un cadre différent. Eh bien, vous pouvez garder les performances intactes et échanger un garage contre la mer et les jambes de votre acteur contre une queue de poisson.
Rêves à la réalité
Il est vraiment impressionnant de voir à quel point les outils d’IA peuvent rapidement et en profondeur peuvent retravailler un peu de séquences. Ces outils ne sont pas seulement un gadget; Les modèles d’IA sont conscients des performances et des délais d’une manière qui se sent plus proche de l’homme que tout ce que j’ai vu. Les modèles d’IA ne comprennent pas réellement la stimulation, la continuité ou la structure, mais ils sont très bons pour imiter ces aspects.
Bien que les limitations techniques et éthiques empêcheront Luma Labs de recréer tout le cinéma à ce stade, ces outils seront tentants pour de nombreux producteurs de vidéos amateurs ou indépendants. Et même si je ne vois pas que cela devienne aussi largement utilisé comme filtres photo communs, il y a des idées amusantes dans les démos de Luma que vous voudrez peut-être essayer.
