Fine-tuning

Définition

Le fine-tuning est la phase de spécialisation d'un modèle d'IA pré-entraîné qui ré-entraîne tout ou partie de ses paramètres sur un dataset spécifique à un domaine ou une tâche. On distingue le full fine-tuning (mise à jour de tous les poids, très coûteux), le fine-tuning paramétrique efficace (LoRA, QLoRA, Prefix Tuning, Adapter Layers), et l'instruction tuning (alignement du modèle sur des paires instruction-réponse). Le RLHF (Reinforcement Learning from Human Feedback) est une forme avancée de fine-tuning pour l'alignement. Les risques de sécurité incluent le catastrophic forgetting (perte des capacités initiales), le model collapse (dataset de mauvaise qualité), et la possibilité d'injecter des backdoors via un dataset empoisonné. En pratique, le fine-tuning transforme un LLM généraliste en expert métier : cybersécurité, médical, juridique, avec des performances supérieures au prompting sur des tâches spécialisées.