Stable Diffusion ?
Stable diffusion est un outil open source et gratuit qui permet de générer des images et animations à partir d’un texte descriptif (un modèle « text2image », comme par exemple les outils génératifs Dall-E ou MidJourney).
Lionel Vicidomini, le formateur !
Cette formation est animée par Lionel Vicidomini, motion designer, graphiste 3D, enseignant et formateur, créateur bien connu de nombreux tutos de référence (sur Blender, Cinema 4D, Stable Diffusion…)
Un outil Open Source ! gratuit et non censuré…
Stable Diffusion est actuellement le dernier outil encore Open Source… Contrairement à ses concurrents, Stable Diffusion est libre et gratuit. N’importe qui peut récupérer le code source de Stable Diffusion, le faire tourner en local sur son PC ou l’héberger sur un serveur web. Comme le code source est accessible, on peut modifier l’outil et l’adapter à ses besoins. Les concurrents MidJourney et Dall-E sont payants et ne peuvent pas fonctionner en local.
A chacun.e son Stable Diffusion…
On étudiera Stable Diffusion sous différentes versions/interfaces, accompagné d’outils, scripts, complémentaires.
Fooocus est une interface utilisateur et aussi une plateforme complète pour créer des images sur son PC/Mac, idéale pour débuter avec Stable Diffusion.
Automatic1111 est une interface graphique permettant d’utiliser Stable Diffusion en local (sur son propre ordinateur sans avoir besoin d’internet) de façon très simple grâce à une interface qui facilite la génération d’images, et qui intègre des fonctionnalités supplémentaires. On peut notamment télécharger de nombreuses extensions afin d’ajouter des fonctionnalités.
ComfyUI est une interface nodale, plus complexe mais moins énergivore et nettement plus flexible pour générer des images. On construit des images en chaînant différents blocs (des nodes / nœuds)
ControlNet est un réseau de neurones qui contrôle la génération d’images dans Stable Diffusion en ajoutant des conditions supplémentaires, permettant par exemple de préciser des poses humaines, copier une composition d’une autre image, générer une image similaire,…
Stable Video Diffusion est un modèle de diffusion latente entraîné à générer de courts clips vidéo à partir d’un conditionnement d’image. Il se présente sous la forme de deux modèles image-to-video, SVD et SVD-XT : SVD qui génère 14 images par seconde à une résolution de 576 x 1024 avec une image contextuelle de la même taille tandis que SVD-XT porte le nombre d’images à 25. Tous deux peuvent générer des clips de 4 secondes avec un nombre de 3 à 30 images par seconde.
Formation IA générative, image et animation, avec Stable Diffusion (5j)
- Installer et paramétrer Stability Matrix, Fooocus, Comfy, ControlNet.
- Générer des images avec Automatic1111
- Comprendre le système nodal sous ComfyUI pour générer des images
- Ecrire des prompts, de manière avancée
- Agrandir des images avec différentes méthodes
- Modifier, transformer une image
- Générer une image depuis un dessin
- Gérer des poses avec OpenPose
- Comprendre et utiliser Depth, Seg, Ipadapter, Style
- Gérer ControlNet de manière avancée
- Savoir utiliser Scribble, SoftEdge, Canny, Lineart, Depth, Seg, Ipadapter…
- Savoir gérer la stylisation
- Utiliser scripts et extensions : XYZ plot, Dynamic CFG, Dynamic Prompt
- Animer des images avec Stable Video
- Animer des images avec AnimateDiff
