Apprentissage par auto-distillation (Self-distillation)

Définition

L'apprentissage par auto-distillation, ou self-distillation, est une technique dans laquelle un modèle apprend à partir de ses propres prédictions, utilisées comme cibles d'entraînement supplémentaires, plutôt qu'à partir d'un modèle enseignant distinct plus grand. Une version antérieure du modèle, ou le modèle lui-même à une étape précédente de l'entraînement, génère des sorties qui servent de signal doux, en complément ou en remplacement partiel des étiquettes originales. Cette approche peut améliorer la généralisation et la calibration du modèle, en lissant les cibles d'entraînement et en réduisant la sur-confiance sur des exemples ambigus. L'auto-distillation est utilisée dans le contexte des grands modèles de langage pour générer des données de raisonnement de haute qualité : un modèle produit plusieurs chaînes de raisonnement, les meilleures selon un critère de cohérence ou d'exactitude sont sélectionnées, puis réinjectées comme données de fine-tuning, une boucle qui a permis d'améliorer les capacités de raisonnement sans données humaines supplémentaires. Elle diffère de la distillation de connaissances classique, qui transfère le savoir d'un grand modèle enseignant vers un modèle élève plus petit et moins coûteux à déployer. Un risque associé est le renforcement de biais existants, le modèle amplifiant ses propres erreurs systématiques faute de mécanisme de filtrage externe.