Supervised Fine-tuning (SFT)

Définition

Le Supervised Fine-tuning (SFT) est la première et indispensable étape du pipeline d'alignement des LLMs après le pré-entraînement. Il consiste à entraîner le modèle de base (base model) sur un dataset de paires instruction/réponse de haute qualité, pour lui apprendre à suivre des instructions et adopter un format conversationnel. C'est le SFT qui transforme un "modèle de completion" brut en assistant conversationnel utilisable. OpenAI, Anthropic et les équipes open-source ont convergé vers un pipeline standardisé : (1) Pré-entraînement sur des téraoctets de texte web → obtention du base model. (2) SFT sur ~10K-100K exemples soigneusement filtrés → obtention du chat model ou instruct model. (3) RLHF/DPO pour affiner l'alignement sur les préférences humaines. Le SFT utilise l'entraînement standard par gradient descendant avec la cross-entropy loss, mais avec une subtilité importante : on calcule la loss uniquement sur les tokens de réponse (pas sur le prompt/l'instruction). Ceci est implémenté par un loss mask : les tokens du prompt reçoivent un poids 0, les tokens de la réponse un poids 1. Cette technique empêche le modèle d'apprendre à "réciter" des instructions. La qualité du dataset SFT est plus importante que sa taille. LIMA (Zhou et al., 2023) a démontré qu'1000 exemples soigneusement sélectionnés peuvent suffire pour un SFT efficace. Alpaca (Stanford, 2023) avec 52K exemples GPT-4 générés, ShareGPT avec des conversations réelles, et les datasets OpenHermes ou WizardInstruct ont fortement influencé l'écosystème open-source. Pour les entreprises déployant des LLMs customisés, le SFT est souvent la méthode d'adaptation préférée : il est plus efficace que le prompt engineering seul et moins complexe que le RLHF. Des bibliothèques comme TRL (HuggingFace), Axolotl, LLaMA-Factory ou Unsloth rendent le SFT accessible sur des GPU consumer (RTX 3090/4090) avec QLoRA.