Decomposition en valeurs singulieres pour adaptation

Définition

La decomposition en valeurs singulieres pour adaptation designe le principe mathematique sous-jacent a LoRA (Low-Rank Adaptation), methode de reglage fin efficace en parametres proposee par Hu et al. en 2021, qui repose sur l'observation empirique que la variation des poids d'un modele pendant un fine-tuning presente une dimensionnalite intrinseque faible, c'est-a-dire qu'elle peut etre approximee par une matrice de rang bas sans perte significative de performance. Plutot que de mettre a jour directement une matrice de poids W de grande dimension, LoRA la fige et introduit deux petites matrices entrainables A et B, dont le produit BA, de rang r (typiquement entre 4 et 64, un ordre de grandeur bien inferieur a la dimension originale de la matrice), approxime la mise a jour necessaire, par analogie directe avec la decomposition en valeurs singulieres (SVD) qui exprime une matrice comme produit de matrices de rang reduit portant l'essentiel de l'information. Cette factorisation reduit le nombre de parametres entrainables de plusieurs ordres de grandeur (souvent moins de 1 % du total) tout en preservant l'essentiel de la capacite d'adaptation du modele. Des variantes ulterieures comme AdaLoRA allouent dynamiquement le rang entre les couches en fonction de leur importance, mesuree via une decomposition en valeurs singulieres explicite des matrices d'adaptation durant l'entrainement, pour optimiser davantage le budget de parametres disponible.