Adapter Tuning
iaDéfinition
Technique PEFT insérant de petits modules neuronaux (adapters) entre les couches d'un LLM pré-entraîné, permettant une spécialisation par tâche sans modifier les poids originaux.
Description
L'Adapter Tuning est une technique PEFT (Parameter-Efficient Fine-Tuning) qui insère de petits modules neuronaux (adapters) entre les couches d'un LLM pré-entraîné. Seuls ces modules sont entraînés lors de la spécialisation, laissant intacts les poids originaux du modèle de base.
Fonctionnement
Chaque adapter consiste en deux matrices de projection (down-projection puis up-projection) avec une couche d'activation. Cette bottleneck architecture permet de capturer des connaissances spécifiques à une tâche avec moins de 1% des paramètres originaux, permettant plusieurs adaptations sur un même modèle de base.
Points clés
- Permet de maintenir plusieurs spécialisations (tâches différentes) d'un même modèle de base simultanément
- Beaucoup plus efficace en ressources que le full fine-tuning : moins de GPU et de données requises
- Alternative à LoRA, avec l'avantage d'une modularité plus claire entre le modèle de base et les adaptations
Besoin d'un expert sur ce sujet ?
Audit, pentest, conformité ISO 27001, développement IA sécurisé — demandez un devis gratuit.
Demander un devis