ControlNet

Définition

ControlNet est une extension des modèles de diffusion, introduite en 2023 par Lvmin Zhang, permettant de conditionner précisément la génération d'images via des signaux structurels additionnels comme des cartes de contours (Canny edge), des estimations de pose humaine (OpenPose), des cartes de profondeur ou des segmentations sémantiques, offrant un contrôle bien plus fin sur la composition du résultat qu'un simple prompt textuel. L'architecture ajoute une copie entraînable des poids du réseau de diffusion pré-entraîné, connectée via des couches de convolution initialisées à zéro (zero convolutions), ce qui permet d'apprendre le conditionnement structurel sans dégrader les capacités génératives du modèle de base ni nécessiter un réentraînement complet. Concrètement, un utilisateur peut fournir un croquis de pose et un prompt décrivant un style, et obtenir une image respectant exactement la posture indiquée tout en suivant l'esthétique demandée, ce qui a rendu la génération d'images exploitable pour des usages professionnels nécessitant une composition maîtrisée : storyboard, prototypage de design, retouche contrôlée. ControlNet s'est largement diffusé dans l'écosystème Stable Diffusion via des interfaces comme Automatic1111 ou ComfyUI. Sur le plan des risques, cette précision de contrôle facilite aussi la création de deepfakes reproduisant des poses ou expressions réelles de personnes identifiables, renforçant les enjeux de traçabilité et de watermarking des contenus générés par IA.