Diffusion Models

Définition

Les Diffusion Models sont une classe de modèles génératifs, à l'origine de Stable Diffusion, DALL-E ou Midjourney, qui apprennent à générer des données de haute qualité en inversant progressivement un processus de bruitage. L'entraînement consiste à ajouter graduellement du bruit gaussien à une image jusqu'à obtenir un bruit pur (forward process), puis à entraîner un réseau de neurones, typiquement une architecture U-Net ou plus récemment un Transformer, à prédire et retirer ce bruit étape par étape (reverse process) pour reconstruire l'image d'origine. Une fois entraîné, le modèle génère de nouvelles données en partant d'un bruit aléatoire et en appliquant itérativement ce processus de débruitage, guidé optionnellement par un prompt textuel via un encodeur comme CLIP pour aligner texte et image. Cette approche a largement supplanté les GAN (Generative Adversarial Networks) pour la génération d'images en raison d'un entraînement plus stable et d'une meilleure diversité des sorties, au prix d'un temps d'inférence plus long, atténué par des techniques d'accélération comme le sampling DDIM. Les diffusion models s'étendent aujourd'hui à la génération vidéo, audio et 3D. Sur le plan sécurité, ils soulèvent des enjeux de deepfakes, de contrefaçon de données d'entraînement protégées par droit d'auteur, et nécessitent des garde-fous contre la génération de contenus illégaux ou de désinformation.

Description

Les Diffusion Models sont une classe de modèles génératifs qui apprennent à inverser un processus de bruitage progressif pour générer des images ou données de haute qualité. Des modèles comme Stable Diffusion, DALL-E 3 et Midjourney sont basés sur cette architecture.

Fonctionnement

Le forward process ajoute progressivement du bruit gaussien à une image sur T étapes jusqu'à obtenir un bruit pur. Le modèle apprend le reverse process : prédire le bruit à éliminer à chaque étape. Le conditioning par texte (CLIP embeddings) guide la génération vers le contenu décrit dans le prompt.

Points clés

Supérieurs aux GAN pour la diversité et la qualité des images générées, sans les instabilités d'entraînement
ControlNet et IP-Adapter étendent les diffusion models avec des signaux de contrôle structurels supplémentaires
L'inpainting et l'outpainting permettent des manipulations ciblées d'images existantes pour les forensiques ou les deepfakes

Articles liés

Expert en cybersécurité offensive et intelligence artificielle. Pentest, audit et développement IA sur-mesure.

Services

Ressources

Projets & Outils

Contact

Nous contacter

Mentions légales Confidentialité Politique éditoriale Plan du site ⭐ Source préférée

Un projet cybersécurité ?

Expert dispo · Réponse 24h

Devis