Distillation de connaissances mutuelle (Mutual Knowledge Distillation)

Définition

La distillation de connaissances mutuelle est une variante de la distillation de connaissances dans laquelle deux modèles, ou plus, s'entraînent simultanément en s'échangeant leurs prédictions comme signaux d'apprentissage, au lieu de suivre une hiérarchie fixe enseignant-élève. Chaque modèle du groupe apprend à la fois à partir des étiquettes réelles et des distributions de probabilité produites par ses pairs, ce qui permet un transfert de connaissances bidirectionnel même entre modèles de taille comparable. Cette approche, formalisée sous le nom de Deep Mutual Learning, améliore souvent les performances de chaque modèle au-delà de ce qu'il obtiendrait en entraînement isolé, car les divergences entre les prédictions des pairs agissent comme une forme de régularisation qui limite le surapprentissage. Elle diffère de la distillation classique, où un grand modèle enseignant, déjà entraîné et figé, transmet son savoir à un modèle élève plus petit destiné à la compression et au déploiement. La distillation mutuelle est utilisée dans des contextes d'ensemble de modèles, ou pour entraîner conjointement plusieurs architectures spécialisées dans des tâches connexes, comme la classification et la détection dans un même pipeline de vision par ordinateur. Son coût de calcul est plus élevé qu'une distillation simple, puisqu'il faut entraîner et faire interagir plusieurs modèles en parallèle durant tout l'entraînement.