Zero-shot vs Few-shot Learning

Définition

Le Zero-shot Learning et le Few-shot Learning sont deux regimes de prompting qui decrivent le nombre d'exemples de demonstration fournis au LLM dans le prompt pour guider sa reponse sur une tache specifique. Ces concepts, formalises par Brown et al. dans GPT-3 (2020), ont redefinit la maniere dont on adapte les LLMs a de nouvelles taches. Zero-shot Learning : le LLM accomplit la tache avec seulement une description ou instruction en langage naturel, sans aucun exemple. 'Classifie le sentiment de ce tweet: [tweet]' est une instruction zero-shot. Les LLMs modernes sont tres capables en zero-shot grace a l'emergent reasoning acquis pendant le pre-training et le SFT/RLHF. Few-shot Learning : 2 a 10 exemples (demonstration) de la tache sont inclus dans le prompt avant la question cible. 'Exemple 1: Tweet: Je suis content! Sentiment: positif. Exemple 2: Tweet: Je suis triste. Sentiment: negatif. Maintenant, Tweet: [tweet cible] Sentiment:'. Le few-shot guide le modele sur le format de sortie, le style et les cas limites. L'utilite respective : zero-shot est prefere pour sa simplicite et son economie de tokens. Few-shot est utile quand (1) le format de sortie est tres specifique, (2) la tache est ambigue sans exemples, (3) le LLM echoue en zero-shot. En general, les LLMs instruction-tuned (Claude, GPT-4, Llama 3 Instruct) performent bien en zero-shot, tandis que les modeles de base necessitent des exemples. Chain-of-Thought few-shot (Wei et al., 2022) : montrer des exemples de raisonnement pas-a-pas avant la question cible est plus efficace que des exemples de simple question-reponse pour les taches de raisonnement. 'Probleme: [P1]. Raisonnement: [R1]. Reponse: [A1]. Probleme: [P2]...' guide le modele a raisonner pas-a-pas.