Knowledge Distillation

Définition

La Knowledge Distillation, ou distillation de connaissance, est une technique de compression de modèle qui transfère les connaissances acquises par un grand modèle, dit teacher, vers un modèle nettement plus petit et plus efficace en ressources, dit student, en entraînant ce dernier non pas simplement à reproduire les étiquettes finales attendues (hard labels) mais à imiter directement les distributions complètes de probabilité produites en sortie par le modèle teacher, dites soft labels. Introduite formellement dans les travaux fondateurs de Hinton et al. publiés en 2015, cette approche part du constat que les distributions de probabilité complètes générées par le modèle teacher contiennent une information nettement plus riche que la seule réponse la plus probable retenue au final, notamment les niveaux de confiance relatifs attribués aux réponses alternatives incorrectes mais plausibles, une information dite « dark knowledge » que l'entraînement classique sur étiquettes dures ignore totalement. Cette approche permet au modèle student de capturer une part significative des capacités du modèle teacher, malgré une taille et un coût d'inférence considérablement réduits, un compromis particulièrement recherché pour le déploiement de modèles sur des équipements aux ressources limitées, terminaux mobiles ou objets connectés, où l'exécution du modèle teacher original serait techniquement impraticable.