Fusion de modèles par tâche TIES (TIES-Merging)

Définition

La fusion de modèles par tâche TIES, ou TIES-Merging, est une méthode de fusion de modèles conçue pour combiner plusieurs modèles fine-tunés sur des tâches différentes à partir d'un même modèle de base, en limitant les interférences entre leurs mises à jour de poids respectives. L'acronyme TIES signifie Trim, Elect Sign and Merge : la méthode commence par élaguer, pour chaque tâche, les paramètres dont la variation par rapport au modèle de base est faible et peu significative ; elle résout ensuite les conflits de signe entre les tâches, lorsque deux tâches modifient un même paramètre dans des directions opposées, en élisant le signe majoritaire pondéré par l'amplitude ; enfin, elle fusionne les paramètres restants en ne moyennant que ceux dont le signe est cohérent avec le signe élu. Cette procédure réduit les interférences destructives observées avec une simple moyenne de poids lorsque le nombre de tâches fusionnées augmente. TIES-Merging permet de construire un modèle multi-tâches unique à partir de plusieurs modèles spécialisés, par exemple un modèle combinant des compétences de codage, de raisonnement mathématique et de suivi d'instructions, sans données d'entraînement conjointes ni coût de calcul de ré-entraînement. Elle est largement implémentée dans les bibliothèques open source de fusion de modèles comme mergekit, très utilisées par la communauté.