Instruction Tuning

Définition

L'Instruction Tuning est une phase de fine-tuning supervisé appliquée à un grand modèle de langage après son pré-entraînement initial sur de vastes corpus textuels bruts, consistant à réentraîner le modèle sur un jeu de données structuré en paires explicites d'instruction et de réponse attendue, couvrant une grande diversité de tâches formulées en langage naturel : répondre à une question, résumer un texte, traduire, générer du code, suivre une consigne précise de format. Cette étape transforme fondamentalement le comportement du modèle : un modèle uniquement pré-entraîné, optimisé pour prédire statistiquement le mot suivant d'un texte, tend à compléter un prompt de façon imprévisible plutôt qu'à y répondre directement de façon utile et alignée avec l'intention de l'utilisateur ; l'instruction tuning oriente explicitement le modèle vers un comportement conversationnel et directement exploitable, capable de comprendre et d'exécuter fidèlement des consignes variées formulées naturellement. InstructGPT, publié par OpenAI en 2022, a formalisé et popularisé cette approche, démontrant qu'un modèle de taille modeste correctement instruction-tuné pouvait produire des réponses jugées préférables par des évaluateurs humains à celles d'un modèle brut bien plus volumineux. L'instruction tuning constitue une étape fondatrice du pipeline d'entraînement des modèles conversationnels modernes, précédant généralement un affinage supplémentaire par apprentissage par renforcement à partir de retours humains (RLHF).