Stable Diffusion

Définition

Stable Diffusion est un modele generatif de generation d'images base sur la diffusion latente, developpe par Stability AI, RunwayML et LMU Munich (Robin Rombach et al., 2022). C'est le premier grand modele de generation d'images de qualite comparable a DALL-E 2 a etre publie en open-source, democratisant la generation d'images par IA. L'architecture Latent Diffusion Model (LDM) : au lieu de denoiser dans l'espace des pixels (tres couteux), Stable Diffusion encode d'abord l'image dans un espace latent compresse via un VAE (Variational AutoEncoder). Le processus de diffusion (ajout progressif de bruit puis denoising) s'effectue dans cet espace latent de taille reduite (typiquement 64x64 pour une image 512x512). Un U-Net conditionne par le prompt (via CLIP text encoder) effectue le denoising. Le VAE decode l'espace latent en image finale. L'ecosysteme Stable Diffusion : SD 1.5 (2022, 512px), SDXL (2023, 1024px, architecture amelioree), SD 3.0 (2024, Multimodal Diffusion Transformer), SD 3.5 Medium/Large (2024). L'open-source de ces modeles a permis un ecosysteme de fine-tuning (DreamBooth, LoRA), de plugins (ControlNet pour le controle spatial, IP-Adapter pour la reference style), et d'interfaces (Automatic1111, ComfyUI, InvokeAI). ControlNet (Zhang et al., 2023) est l'une des contributions majeures de l'ecosysteme SD : des couches additionnelles entrainees conditionnent le denoising sur des informations de controle spatial (contours Canny, poses Openpose, profondeur, segmentation). ControlNet permet de generer des images en respectant une composition ou une pose specifique. Les applications professionnelles : generation d'assets visuels, storyboarding, prototypage design UI/UX, illustration editoriale, generation de textures 3D, publicite et marketing. Stable Diffusion a ete integre dans Adobe Firefly, Canva, et de nombreux outils metier.