Few-Shot Learning

Description

Le Few-Shot Learning est la capacité d'un modèle IA à apprendre de nouvelles tâches à partir d'un très petit nombre d'exemples (1 à 5 généralement), en exploitant la connaissance générale acquise lors du pré-entraînement sur de vastes corpus de données. C'est une propriété émergente des grands modèles.

Fonctionnement

Les exemples (shots) sont fournis directement dans le prompt du LLM (in-context learning). Pour les modèles discriminatifs, le meta-learning (apprentissage à apprendre) permet d'adapter rapidement les poids sur de nouveaux exemples. L'augmentation de données synthétiques compensent la rareté des exemples.

Points clés

• Permet de spécialiser un LLM généraliste pour une tâche métier sans fine-tuning coûteux en GPU et données
• La qualité et diversité des quelques exemples choisis détermine fortement les performances obtenues
• Utilisé pour la classification de phishing ou de malwares quand les exemples de nouvelles variantes sont rares