Zero-Shot Learning IA

Description

Le Zero-Shot Learning IA est la capacité d'un modèle à effectuer des tâches sans avoir vu d'exemples spécifiques lors de l'entraînement, en généralisant depuis des descriptions textuelles ou des analogies sémantiques. Cette propriété émergente des grands modèles de langage pré-entraînés.

Fonctionnement

Le LLM exploite les connaissances générales acquises lors du pré-entraînement pour inférer comment accomplir une nouvelle tâche décrite en langage naturel. La performance zero-shot s'améliore avec la taille du modèle (GPT-4 > GPT-3.5 > GPT-3 en zero-shot) selon les lois de scaling.

Points clés

• Permet de déployer des LLM sur de nouvelles tâches sans données d'annotation coûteuses préalables
• Les performances zero-shot restent inférieures aux approches few-shot et fine-tuned sur des tâches très spécialisées
• CLIP (OpenAI) démontre le zero-shot learning en vision : classifier des images dans des catégories jamais vues en entraînement