LoRA (Low-Rank Adaptation)
iaDéfinition
LoRA (Low-Rank Adaptation) est une technique de fine-tuning paramétrique efficace pour les grands modèles de langage qui gèle les poids pré-entraînés et injecte des matrices d'adaptation de faible rang (r) dans les couches d'attention. Mathématiquement, la mise à jour de poids ΔW est décomposée en deux matrices de petite dimension : ΔW = A × B (où rang r << dimension originale), réduisant les paramètres entraînables de 99,9% par rapport au fine-tuning complet. QLoRA (Quantized LoRA) combine LoRA avec la quantification 4-bit, permettant de fine-tuner des modèles de 65 milliards de paramètres sur un seul GPU consommateur. Les extensions incluent DoRA, LoftQ et AdaLoRA. En cybersécurité, LoRA permet de spécialiser des LLM sur des corpus de threat intelligence, de rapports de vulnérabilités ou de code malveillant pour des cas d'usage SOC sans infrastructure GPU massive.
Principe
Au lieu de fine-tuner tous les milliards de paramètres d'un LLM, LoRA décompose les mises à jour de poids en deux petites matrices A et B de rang r (typiquement r=8 ou r=16). Seules ces matrices sont entraînées, le modèle original restant figé.
Avantages
- Réduction de 10 000x de la mémoire GPU nécessaire
- Entraînement sur un seul GPU consumer (RTX 4090)
- Multiples adaptateurs empilables sans duplication du modèle
Variantes
- QLoRA : LoRA sur un modèle quantifié en 4-bit (encore plus économe)
- DoRA : décomposition en magnitude et direction
- AdaLoRA : rang adaptatif par couche
Besoin d'un expert sur ce sujet ?
Audit, pentest, conformité ISO 27001, développement IA sécurisé — demandez un devis gratuit.
Demander un devis