PEFT (Parameter-Efficient Fine-Tuning)

Définition

PEFT, Parameter-Efficient Fine-Tuning, désigne une famille de techniques d'adaptation de grands modèles de langage pré-entraînés à des tâches ou domaines spécifiques, qui n'ajustent qu'une fraction réduite des paramètres du modèle plutôt que de réentraîner l'intégralité de son architecture, une approche complète devenue impraticable pour les modèles de plusieurs milliards de paramètres compte tenu du coût en mémoire GPU et en temps de calcul qu'elle représenterait. LoRA (Low-Rank Adaptation), technique la plus répandue de cette famille, insère de petites matrices de décomposition de rang réduit en parallèle des couches du modèle original gelées, entraînant uniquement ces matrices additionnelles représentant typiquement moins de un pour cent des paramètres totaux. Le Prefix Tuning ajoute des vecteurs entraînables préfixés à chaque couche d'attention du Transformer, influençant le comportement du modèle sans modifier ses poids d'origine. Le Prompt Tuning, approche encore plus légère, n'entraîne qu'un ensemble réduit de tokens virtuels ajoutés en entrée du modèle. Ces approches réduisent drastiquement les coûts de calcul et de stockage comparés à un fine-tuning complet, tout en limitant significativement le risque de catastrophic forgetting, phénomène par lequel un modèle réentraîné intégralement perd des capacités générales acquises lors de son pré-entraînement initial, un compromis particulièrement recherché pour des déploiements multi-domaines en production.