Knowledge Distillation
iaDéfinition
La Knowledge Distillation est une technique de compression de modèle qui transfère les connaissances d'un grand modèle (teacher) vers un modèle plus petit et efficace (student), en entraînant le student à reproduire les distributions de probabilité de sortie (soft labels) du teacher plutôt que les labels durs. Cette approche, introduite par Hinton et al. (2015), permet au student de capturer les "dark knowledge" encodées dans les probabilités des classes non-cibles, qui contiennent plus d'information que les labels one-hot. Les variantes incluent la distillation de features (aligner les représentations intermédiaires), la distillation de données (data-free, génération de données synthétiques) et la self-distillation. Des LLM comme DistilBERT (66% des paramètres de BERT, 97% des performances), TinyLlama et Phi-2 (Microsoft) utilisent la distillation. En cybersécurité, la distillation rend feasibles des modèles IA de détection de menaces déployables sur des endpoints à ressources limitées.
Description
La Knowledge Distillation est une technique de compression de modèle transférant les connaissances d'un grand modèle teacher vers un modèle student plus compact. Le student reproduit les distributions de probabilité (soft labels) du teacher plutôt que les labels durs, capturant les nuances de connaissance.
Fonctionnement
L'entraînement du student minimise la divergence KL entre ses probabilités et celles du teacher pondérées par une température de distillation T. La distillation de features intermédiaires aligne également les représentations des couches cachées entre teacher et student pour un transfert plus complet.
Points clés
- DistilBERT : 66% des paramètres de BERT, 97% des performances, 60% plus rapide — exemple canonique de distillation réussie
- Rend possible le déploiement de LLM performants sur des endpoints ou infrastructures air-gapped en cybersécurité
- TinyLlama, Phi-2 et Qwen1.5-1.8B utilisent la distillation pour des performances remarquables à petite taille
Besoin d'un expert sur ce sujet ?
Audit, pentest, conformité ISO 27001, développement IA sécurisé — demandez un devis gratuit.
Demander un devis