ControlNet
iaDéfinition
Extension des modèles de diffusion permettant de conditionner la génération d'images via des signaux structurels (poses, contours, profondeur), offrant un contrôle précis sur le résultat.
Description
ControlNet est une extension des modèles de diffusion permettant de conditionner la génération d'images via des signaux structurels supplémentaires : poses humaines, contours Canny, profondeur, segmentation sémantique. Il offre un contrôle précis impossible avec les prompts textuels seuls.
Fonctionnement
ControlNet duplique les couches de l'encodeur du modèle de diffusion et les connecte au réseau principal via des couches de convolution initialisées à zéro. Le signal de contrôle (pose, contour, profondeur) guide la génération tout en préservant la capacité générative du modèle de diffusion sous-jacent.
Points clés
- Utilisé en forensique numérique pour reconstruire des images à partir de contours ou silhouettes partielles
- Permet la génération de deepfakes ciblés avec des poses ou expressions précises, amplifiant les risques de désinformation
- Intégré dans Stable Diffusion via des extensions A1111 et ComfyUI largement accessibles en open source
Besoin d'un expert sur ce sujet ?
Audit, pentest, conformité ISO 27001, développement IA sécurisé — demandez un devis gratuit.
Demander un devis