Fusion de modèles par moyenne des poids (Model Soups)

Définition

La fusion de modèles par moyenne des poids est une technique qui combine plusieurs modèles de même architecture, entraînés séparément, en calculant la moyenne arithmétique de leurs paramètres pour produire un modèle unique, sans réentraînement supplémentaire. Popularisée sous le nom de model soups, cette méthode s'applique typiquement à des modèles issus d'un même point de départ pré-entraîné mais fine-tunés avec des hyperparamètres, des données ou des seeds différents. Les travaux fondateurs sur les model soups ont montré que la moyenne des poids de plusieurs modèles fine-tunés indépendamment peut égaler ou dépasser la performance du meilleur modèle pris isolément, tout en conservant le même coût d'inférence qu'un modèle unique, contrairement à un ensemble classique qui nécessite d'exécuter plusieurs modèles en parallèle. Cette approche fonctionne parce que les modèles partageant une même initialisation restent souvent proches dans l'espace des paramètres, un phénomène lié à la connectivité en mode linéaire des réseaux de neurones. Elle est largement utilisée par la communauté open source, notamment sur des modèles de la famille LLaMA ou Mistral, pour combiner des variantes spécialisées dans différentes tâches sans coût d'entraînement supplémentaire. Sa limite principale apparaît lorsque les modèles à fusionner divergent trop, ce qui peut dégrader les performances plutôt que les améliorer sensiblement.