L’intelligence artificielle (« IA » ou « AI » en anglais) fait beaucoup parler d’elle :
- grand remplacement des auteurs et salariés,
- spoliation des droits (des créations analysées / ré-utilisées),
- capacité à écrire et traduire mieux que de nombreuses personnes fatiguées d’écrire ou de disserter (ChatGPT),
- création à la demande d’images imaginaires ou faussement réelles, très spectaculaires…
Les outils d’IA ne cessent de progresser.
Et, si en graphisme ils peuvent désormais être utilisés (cf notre dossier IA & graphisme), en vidéo cela reste en développement, mais avec de beaux outils « évolutionnaires », préparant à une révolution annoncée, voulue ou crainte…
Verrons-nous bientôt advenir la création de films par de simples commandes textuelles (« prompts ») ?
En mise en bouche, vous prendrez bien quelques chats ?
C’est « mignon »… hein ?
Il y a pire ! Par exemple la première pub Coca Cola, absurde et délirante, co-générée par outils IA, un peu vaseux en terme de qualité technique, fluidité, précision… quant à son sens formel/profond, à part l’euphorie de boire du Coca et de faire générer des images délirantes, cela ressemble à un timbre poste du 19ème siècle, agrandi 1000 fois (mais si !).
Ces vidéos générées (dégénérées ?) sont à voir plus bas dans ce dossier, dans la section des applications nouvelles, révolutionnaires (sans guillemets ?)
Quelles IA « évolutionnaires » dans nos outils actuels ? Davinci Resolve, Premiere Pro…
Adobe Premiere Pro dopée par Sensei et désormais Firefly
Adobe intègre peu à peu dans Premiere Pro ses technologies IA Sensei et Firefly :
- Transcription des audio (dialogues), générant automatiquement des sous-titres, que l’on peut ensuite régler, scinder… une fonctionnalité incroyable, performante… on attend avec impatience la possibilité de la traduction : cela permettrait de générer (gratuitement !) des sous-titres pour des versions étrangères… [les traducteurs et sociétés de sous-titrage « apprécieront » la quasi disparition de la nécessité de leur activité]
- Montage basé sur le texte : on peut ainsi monter des plans en sélectionnant par phrases, mots…
- Outil de remixage audio : redécoupe/mixe une bande son (une musique) en l’adaptant au timing désiré !
- Fonction optimisation de dialogue (« enhance speech ») : cet outil nettoie et met en valeur un son de parole (avec un environnement parasité de bruits)
- Couleur automatique et Correspondance automatique : fonctionnalité d’étalonnage de plans à harmoniser
L’outil IA en développement chez Adobe s’appelle Firefly et Adobe intègre peu à peu ses fonctionnalités dans les outils Adobe CC, dont voici quelques développements démontrés et prochainement inclus dans Premiere Pro :
- Outil IA génératif : demander par commande textuelle (« prompt ») de donner un style chromatique à une image
- Génération de musiques et d’effets sonores
- Animation de textes et logos
- Création de storyboards à partir de textes
- …et cela ne fait que commencer !
Vous voulez entendre le responsable du développement de Adobe Firefly ? John Nack présente Firefly !
Davinci Resolve et l’IA…
Davinci Resolve 18.5 (ça a commencé « en 18 » !) propose des aides puissantes basées sur leur IA dénommée Neural Engine :
- Auto transcription audio vers texte, en 14 langues : cette fonctionnalité permet ensuite de monter par segments de phrases, mots… c’est super, mais on attend le sous-titrage proposé par Premiere Pro ! 😉
- Isolation vocale basée sur l’IA : cela supprime des sons parasites, isole la voix, la valorise…
- Masquage des objets par tracking automatique (des milliers d’objets reconnus)
- « Masque Personne » : détecte les personnes, tracke leur mouvement, crée ainsi un masque mobile
- Recadrage intelligent pour des versions verticales, carrés…
- SuperScale : crée des détails lors de forts zooms
- SpeedWarp
- Bibliothèque OpenFX de stylisations adaptées au contenu (analysé) des plans
- Retouche beauté : utilise la reconnaissance faciale pour cibler les visages
- Remplacement de la zone & Suppression des objets
On notera que hors montage, les outils basés sur l’IA sont des concentrés « intelligents » de plusieurs tâches agencées habituellement faites par l’opérateur : masquer-tracker-corriger le masque-faire son effet localisé… De plus en plus de tâches répétitives vont être court-circuitées, avec plus ou moins de bonheur (et de réglages fins pour personnaliser, adapter…) pour laisser la place à la créativité / ou à travailler plus vite et moins longtemps encore… si vous voyez ce que je veux dire.
Topaz Labs Video AI : votre fidèle upscaler…
Pour 299 USD (quand même !), cette application permet de nettoyer, agrandir, fluidifier des vidéos d’aspect médiocre : passer du SD au 4K, fluidifier et augmenter la cadence, créer du détail ! Un outil exceptionnel.
Outils vidéo génératifs IA : la révolution en marche !
En vidéo, les outils apparaissent, se multiplient, multiplient les promesses, mais sont encore très lacunaires : des durées et résolutions très courtes/faibles, un manque de cohérence entre plans générés, des mouvements de corps artificiels, des interactions entre personnages très délicates… mais cela progresse, et très vite !
OpenAI dévoile Sora, outil IA vidéo génératif assez spectaculaire !
La célèbre société d’outils IA OpenAI, aux outils et services payants (ChatGPT, Dall-E,…) vient de dévoiler Sora, un outil IA vidéo génératif : à partir d’une simple phrase, des séquences vidéo sont générées, avec de bien meilleurs résultats que les prédécesseurs (Pika, Runway Gen 1/2, Stable Diffusion). La durée d’une séquence générée atteint désormais une minute (et non plus quelques secondes), Sora semble capable de produire des plans assez complexes, avec plusieurs personnages (aux mouvements relativement corrects), mouvement de caméra, y compris plusieurs plans cohérents esthétiquement pour constituer une séquence… Sora propose également d’utiliser des références pour générer une séquence selon une esthétique précise… A découvrir prochainement quand Sora sera accessible publiquement. On peut lire l’explicatif technique de Sora par OpenAI.
Google présente son outil IA vidéo : LUMIERE…
Après 2 précédents outils vidéo, Google présente son nouvel outil IA pour la vidéo : LUMIERE… Nous ne disposons que des vidéos fabriquées (et sélectionnées) par Google et leurs affirmations pour juger, sans pouvoir tester pour le moment. LUMIERE propose de la vidéo générée par texte, de l’image transformée en vidéo, de la stylisation, l’animation de portions d’images, et le remplacement localisé dans une vidéo d’une partie des éléments : par exemple changer la robe d’une actrice…
La grande qualité apportée par Google LUMIERE serait la consistance temporelle des vidéos générées, grande lacune des générateurs proposés jusqu’à maintenant. On a hâte de tester !
Pika, outil IA vidéo prometteur…
Pika propose plusieurs types de générations :
- image to videos : transformer une image fixe (dessin, photo, peinture) en image animée
- video to video : transformer une vidéo existante
- et bien entendu du prompt génératif, text to video
Disponible récemment en beta gratuite sur serveur Discord, Pika est désormais accessible comme application online…
Runway Gen 1 / Gen2
Runway est une suite proposant de nombreux outils de transformation, et quelques outils de génération d’images et vidéos… Sa version toute nouvelle version Gen2 apporte plus de finesse, d’outils et de puissance…
Outils de transformation de vidéos :
- frame interpolation
- effacer un arrière plan, effacer un personnage ou un objet
- tracking
- ajouter de la profondeur de champ, flouter des visages
- nettoyer une bande audio, enlever du silence,
- transcrire une vidéo en texte…
- et générer des sous-titres
Outils de transformation d’images :
- agrandir le décor
- zoomer
- effacer, remplacer un objet
- faire des variations de style sur une image
- coloriser
Outils génératifs de vidéos :
- styliser une vidéo « réelle » en lui donnant un style DA, pâte à modeler…
- fabriquer un film à partir d’une commande textuelle
Outils génératifs d’images :
- commander une image par demande textuelle
- transformer une image par rapport à une image
- …
Et même un zeste de 3D : commander une texture 3D par texte
Et à part la vidéo ?
Adobe Podcast
Pour le moment encore en phase beta, Adobe Podcast est un outil online pour (énormément) améliorer la qualité (faible) d’une voix enregistrée… et aider à créer des podcasts. Preview ici.
Eleven : génération de voix off adaptative !
Ils appellent cela du voice design…
Cela fera peur à de nombreuses personnes, tellement ses capacités promises sont impressionnantes : générer la voix off d’une personne ou d’une autre, doubler un personnage à l’écran en synchronisant la prononciation sur les lèvres filmées de ce personnage… Encore à l’état de développement, Eleven Multilingual v1 commence à fonctionner, en plusieurs langues…
D’autres outils de création de voix impressionnants sont en développement : Murf, Synthesys…
Sonicfire Pro 6 : création de musique sur mesure
La version 6 de cet assistant créateur de musique « au mètre » utilise l’IA pour adapter sur mesure des éléments musicaux choisis parmi ses milliers de possibilités (dont les droits sont payés). 199 USD !
Pour créer des musiques sur mesure, de nombreux autres outils existent : AIVA, Soundraw,…
Combiner outils génératifs de texte et d’image ?
On peut demander à chatGPT d’écrire un prompt pour produire une image… cela semble délirant, mais cela peut être utile dans certaines situations.
Et la 3D ?
- Move.ai : motion capture à partir de caméra normale
- Luma AI : création de 3D à partir de commandes textuelles
- et bien d’autres…
Et encore ?
On peut imaginer le nombre de moyens pour aider les développeurs et scripteurs (Python, C++, Java, Javascript…) pour créer outils ou des automatismes dans nos outils VFX ou 3D, ou des sites web. A ceci près qu’il faudra toujours maîtriser au minimum la syntaxe de ces langages, pour pouvoir vérifier, corriger. Double compétence requise !
There’s an AI for that : pour chercher des infos sur les innombrables outils IA…
Have I Been Trained ? pour savoir si vos images ont été utilisées par des IA…
