Modele de score de diffusion

Définition

Un modele de score de diffusion (score-based diffusion model) est une famille de modeles generatifs qui apprend a inverser un processus graduel de bruitage applique a des donnees (images, audio), en estimant a chaque etape le gradient de la log-vraisemblance des donnees, appele fonction de score, via un reseau de neurones. Formalises par Song et Ermon (2019) puis unifies avec les modeles de diffusion probabilistes debruitants (DDPM, Ho et al., 2020) dans un cadre d'equations differentielles stochastiques, ces modeles entrainent un reseau, souvent une architecture U-Net ou plus recemment un Transformer de diffusion (DiT), a predire le bruit ajoute a differents niveaux de degradation. La generation part d'un bruit gaussien pur et applique iterativement le score estime pour reconstituer progressivement un echantillon realiste, en plusieurs dizaines a plusieurs centaines de pas selon le solveur utilise. Cette approche sous-tend Stable Diffusion, Midjourney et DALL-E 2/3 pour la generation d'images, ainsi que des applications audio et video. Pour un DPO ou un RSSI, les modeles de diffusion posent des enjeux specifiques : capacite de memorisation partielle de donnees d'entrainement identifiables (fuite de donnees personnelles demontree dans des travaux academiques sur Stable Diffusion) et risque de generation de deepfakes, encadres notamment par le reglement europeen sur l'IA (AI Act) au titre des obligations de transparence.