In-Context Learning (ICL)

Définition

L'In-Context Learning, ou ICL, est une capacité émergente des grands modèles de langage leur permettant d'apprendre et de s'adapter à une nouvelle tâche uniquement à partir d'exemples ou d'instructions fournis directement dans le prompt de la requête, sans qu'aucune mise à jour des poids internes du modèle ne soit nécessaire, contrairement au fine-tuning qui exige un réentraînement effectif. L'ICL se décline en trois variantes selon le nombre d'exemples fournis : le zero-shot, où seule l'instruction est donnée sans aucun exemple démonstratif, s'appuyant entièrement sur la connaissance générale acquise au pré-entraînement, le few-shot, où quelques exemples représentatifs de la tâche attendue sont insérés avant la requête réelle pour illustrer le format et le raisonnement souhaités, et le many-shot, une variante plus récente rendue possible par l'extension considérable des fenêtres de contexte, insérant des dizaines voire des centaines d'exemples démonstratifs. Le mécanisme sous-jacent exact expliquant cette capacité reste un sujet actif de recherche en interprétabilité, certaines hypothèses suggérant que le mécanisme d'attention du Transformer réalise implicitement une forme d'apprentissage statistique à la volée sur les exemples fournis. L'ICL constitue le fondement pratique de nombreuses techniques de prompting avancées utilisées quotidiennement en production, dont le chain-of-thought.