Adaptateur QLoRA

Définition

QLoRA (Quantized Low-Rank Adaptation) est une methode de reglage fin efficace en parametres, proposee par Dettmers et al. en 2023, qui combine la quantification du modele de base sur 4 bits (via le format NF4, NormalFloat 4-bit) avec l'insertion de matrices d'adaptation de faible rang (LoRA) entrainees en precision superieure. Le modele pre-entraine est charge en memoire sous forme quantifiee et gele durant tout l'entrainement, seuls les adaptateurs LoRA, representant une fraction minime des parametres totaux, sont mis a jour par retropropagation, le gradient traversant le modele quantifie sans le modifier. QLoRA introduit egalement des optimisations memoire complementaires, comme la double quantification (quantifier les constantes de quantification elles-memes) et la gestion paginee de l'optimiseur (paged optimizers) pour eviter les pics memoire lors de l'entrainement. Cette combinaison permet de fine-tuner des modeles de plusieurs dizaines de milliards de parametres (par exemple 65 milliards) sur un unique GPU grand public disposant d'environ 48 Go de VRAM, la ou un reglage fin complet aurait necessite plusieurs centaines de gigaoctets repartis sur de multiples GPU professionnels. Pour une PME ou un cabinet de conseil souhaitant specialiser un modele open source sur des donnees internes sans investissement massif en infrastructure GPU, QLoRA constitue l'une des methodes les plus accessibles et les plus documentees actuellement disponibles.