LoRA (Low-Rank Adaptation)
iaDéfinition
Technique d'adaptation efficace des grands modèles de langage qui gèle les poids originaux et entraîne de petites matrices de rang faible, réduisant les paramètres entraînables de 99.9%.
Principe
Au lieu de fine-tuner tous les milliards de paramètres d'un LLM, LoRA décompose les mises à jour de poids en deux petites matrices A et B de rang r (typiquement r=8 ou r=16). Seules ces matrices sont entraînées, le modèle original restant figé.
Avantages
- Réduction de 10 000x de la mémoire GPU nécessaire
- Entraînement sur un seul GPU consumer (RTX 4090)
- Multiples adaptateurs empilables sans duplication du modèle
Variantes
- QLoRA : LoRA sur un modèle quantifié en 4-bit (encore plus économe)
- DoRA : décomposition en magnitude et direction
- AdaLoRA : rang adaptatif par couche
Besoin d'un expert sur ce sujet ?
Audit, pentest, conformité ISO 27001, développement IA sécurisé — demandez un devis gratuit.
Demander un devis