Aller au contenu principal
Expert Cybersécurité & IAv9.0
Centres de ressources conformité
Besoin d'un accompagnement expert ?
Devis personnalisé sous 24h — audit, conformité, incident
Outils open source — Gratuits, portables, hors ligne
Caractéristiques communes
100 % hors ligne — aucune donnée transmise
Portables — un seul fichier exécutable
Gratuits — MIT ou GPL v3
Code source ouvert sur GitHub
Checklists Sécurité — Audit & Durcissement
Formats disponibles
📄 PDF 📊 Excel 🌐 Web

11 checklists professionnelles couvrant 2 200+ points de contrôle. Téléchargement gratuit, aucune inscription.

Academy Contact

Adapter Tuning

ia

Définition

L'adapter tuning est une technique de PEFT, Parameter-Efficient Fine-Tuning, qui insère de petits modules neuronaux supplémentaires, les adapters, entre les couches d'un grand modèle de langage pré-entraîné, permettant de spécialiser le modèle pour une tâche donnée sans modifier les poids originaux, qui restent gelés durant l'entraînement. Introduite en 2019 pour les modèles de type BERT, la méthode ne met à jour que les paramètres des adapters, typiquement moins de 5 % du nombre total de paramètres du modèle, ce qui réduit drastiquement les besoins en mémoire GPU et en temps de calcul par rapport à un fine-tuning complet. Chaque tâche métier peut ainsi disposer de son propre jeu d'adapters, chargeable et déchargeable dynamiquement, tout en partageant le même modèle de base, ce qui facilite le déploiement multi-tâches sur une infrastructure mutualisée. L'adapter tuning se distingue de LoRA, Low-Rank Adaptation, autre technique PEFT populaire qui injecte des matrices de rang faible directement dans les couches d'attention plutôt que d'ajouter de nouveaux modules séquentiels, LoRA étant généralement plus économe en latence d'inférence. Pour un DPO ou un RSSI, l'adapter tuning permet d'entraîner des modèles spécialisés sur des données métier sensibles sans exposer ni modifier le modèle de base, facilitant l'isolation des données d'entraînement propriétaires par client ou par cas d'usage.

Description

L'Adapter Tuning est une technique PEFT (Parameter-Efficient Fine-Tuning) qui insère de petits modules neuronaux (adapters) entre les couches d'un LLM pré-entraîné. Seuls ces modules sont entraînés lors de la spécialisation, laissant intacts les poids originaux du modèle de base.

Fonctionnement

Chaque adapter consiste en deux matrices de projection (down-projection puis up-projection) avec une couche d'activation. Cette bottleneck architecture permet de capturer des connaissances spécifiques à une tâche avec moins de 1% des paramètres originaux, permettant plusieurs adaptations sur un même modèle de base.

Points clés

  • Permet de maintenir plusieurs spécialisations (tâches différentes) d'un même modèle de base simultanément
  • Beaucoup plus efficace en ressources que le full fine-tuning : moins de GPU et de données requises
  • Alternative à LoRA, avec l'avantage d'une modularité plus claire entre le modèle de base et les adaptations

Articles liés

Un projet cybersécurité ?

Expert dispo · Réponse 24h

Devis