Interpolation sphérique de poids SLERP (Spherical Linear Interpolation)

Définition

L'interpolation sphérique de poids SLERP, ou Spherical Linear Interpolation, est une méthode de fusion de deux modèles qui calcule un chemin d'interpolation le long d'un arc de cercle dans l'espace des paramètres, plutôt qu'une simple moyenne linéaire pondérée. Issue à l'origine du traitement des rotations en infographie et en animation 3D, SLERP considère les vecteurs de poids comme des directions sur une hypersphère et interpole selon l'angle qui les sépare, ce qui préserve mieux la norme des vecteurs de poids qu'une interpolation linéaire classique, laquelle tend à réduire la magnitude effective des paramètres fusionnés lorsque les deux modèles divergent fortement. Appliquée à la fusion de grands modèles de langage, SLERP permet de combiner deux modèles fine-tunés différemment, en réglant un paramètre d'interpolation compris entre zéro et un pour privilégier l'un ou l'autre, tout en obtenant généralement un modèle plus cohérent qu'une moyenne arithmétique simple sur des paires de modèles fortement différenciés. Elle est limitée à la fusion de deux modèles à la fois, contrairement à des méthodes comme TIES ou DARE conçues pour plus de deux modèles simultanément. SLERP est largement disponible dans les outils communautaires de fusion de modèles, comme mergekit, et reste une des techniques de fusion les plus simples à mettre en œuvre en pratique.