Few-Shot Learning

Définition

Le Few-Shot Learning désigne la capacité d'un modèle d'intelligence artificielle à apprendre à réaliser une nouvelle tâche à partir d'un très petit nombre d'exemples fournis en contexte, typiquement entre un et cinq, sans nécessiter de réentraînement ni d'ajustement des paramètres du modèle. Cette capacité s'appuie directement sur la connaissance générale et les régularités statistiques acquises par le modèle lors de sa phase de pré-entraînement sur des volumes massifs de données, qui lui permettent d'inférer le motif attendu à partir d'exemples limités présentés dans le prompt, une technique également appelée in-context learning lorsqu'elle est appliquée aux grands modèles de langage. Elle se distingue du zero-shot learning, où aucun exemple n'est fourni et le modèle doit s'appuyer uniquement sur la description de la tâche, et du fine-tuning traditionnel, qui nécessite un réentraînement effectif des poids du modèle sur un jeu de données dédié, généralement plus coûteux et plus long à mettre en œuvre. En pratique, le few-shot learning s'utilise en insérant directement dans le prompt quelques paires exemple-réponse illustrant le format et le raisonnement attendus avant de soumettre la requête réelle. Cette approche s'est révélée particulièrement efficace pour des tâches de classification, d'extraction structurée ou de reformulation, où elle réduit significativement le besoin d'un jeu de données d'entraînement dédié à la tâche.