Pendant que la guerre des chatbots fait rage entre Microsoft et Google, une autre entreprise spécialisée dans l’Intelligence artificielle vient de dévoiler un nouvel outil qui pourrait révolutionner la manière de produire des vidéos. Baptisé Gen-1, il peut transformer complètement une vidéo à l’aide d’une simple image ou de quelques mots.

Runway est connu pour son IA Stable Diffusion capable de générer des images à partir d’une phrase, à l’instar de Dall-E ou Midjourney. Gen-1 fonctionne un peu comme un filtre Snapchat, mais d’une manière beaucoup plus évoluée. Il faut partir d’une vidéo de base qui servira à fournir à l’IA les éléments de la scène, et les mouvements à reproduire. Indiquez-lui alors le style à utiliser, ou fournissez une image d’exemple, et elle va l’appliquer sur toute la vidéo.

Gen-1 génère des vidéos à partir d’une autre qui sert de référence et d’une image ou quelques mots écrits. © Runway

Des effets spéciaux à la portée de tous

La vidéo de présentation est extrêmement impressionnante. Dans un des exemples, l’IA crée une vidéo d’animation à partir d’une vidéo très basique tournée avec un smartphone, et les mots « claymation style » (animation de pâte à modeler). La simplicité d’utilisation signifie que n’importe qui pourra créer des contenus sans la moindre connaissance préalable. Il suffit par exemple de se filmer dans son jardin, sans costume, puis de fournir une photo d’un astronaute pour obtenir une scène sur la Lune.

L’IA peut également isoler un seul sujet ou objet dans une vidéo pour lui appliquer des modifications. Les résultats sont encore assez imparfaits, mais les Intelligences artificielles évoluent de plus en plus rapidement. Il ne serait pas étonnant de voir arriver d’ici quelques années une version utilisable par Hollywood.

En attendant, Gen-1 pourrait révolutionner YouTube sous sa forme actuelle, en facilitant l’ajout d’effets spéciaux, par exemple. Cet outil pourrait aussi offrir une plus grande liberté aux « VTubers », les YouTubeurs qui utilisent un avatar, qui ne seront plus limités à quelques poses prédéfinies. Gen-1 est ouvert au public, mais il faut s’inscrire sur liste d’attente.

Soundify ajoute automatiquement les bruitages aux vidéos, tirés d’une banque de sons. © Runway

Une autre IA en développement pour la piste audio

Ce n’est pas tout, puisque Runway travaille également sur une Intelligence artificielle qui serait plutôt complémentaire de Gen-1. Soundify permet d’ajouter des effets sonores sur n’importe quelle vidéo automatiquement, comme le bruit d’un appareil photo, d’un avion, de l’écriture au clavier… Ces effets sonores ne sont pas générés par l’IA, mais tirés d’une banque de sons. Cela limite la puissance de calcul nécessaire et évite notamment des artefacts audio.

L’IA s’occupe d’identifier les éléments présents à l’image puis d’insérer automatiquement les sons correspondants dans la vidéo, réduisant sensiblement le temps nécessaire pour éditer une vidéo. Il faudra toutefois patienter pour l’essayer, puisque Soundify n’est pas encore accessible publiquement. Et si vous avez besoin d’une musique de fond pour les vidéos générées par Gen-1, il suffira de se tourner vers MusicML, l’IA de Google capable de générer de la musique…