In-Context Learning (ICL)
iaDéfinition
L'In-Context Learning (ICL) est la capacité émergente des LLM à apprendre et s'adapter à une nouvelle tâche uniquement à partir d'exemples fournis dans le prompt, sans aucune mise à jour des poids du modèle. L'ICL se décline en zero-shot (instruction seule sans exemple), few-shot (quelques exemples démonstratifs) et many-shot (dizaines à centaines d'exemples dans la context window). Le mécanisme théorique de l'ICL reste débattu : certains travaux suggèrent que le modèle retrouve des patterns vus en pré-entraînement plutôt qu'il n'apprend véritablement en contexte. La qualité des exemples (diversité, ordre, format) influence fortement les performances. En cybersécurité, l'ICL permet d'adapter rapidement un LLM généraliste à la classification de menaces, à l'analyse de logs ou à la génération de règles de détection en fournissant quelques exemples annotés dans le prompt, sans le coût du fine-tuning.
Description
L'In-Context Learning (ICL) est la capacité émergente des LLM à apprendre et s'adapter à une nouvelle tâche uniquement à partir d'exemples fournis dans le prompt, sans aucune mise à jour des poids du modèle. Il se décline en zero-shot, few-shot et many-shot selon le nombre d'exemples.
Fonctionnement
Les exemples fournis dans le prompt (demonstrations) guident le modèle vers le format et la sémantique de réponse attendus. La qualité, l'ordre et la diversité des exemples influencent significativement les performances. Le modèle semble retrouver des patterns appris en pré-entraînement plutôt qu'apprendre véritablement.
Points clés
- Permet d'adapter rapidement un LLM à la classification de menaces sans fine-tuning coûteux en GPU
- Le many-shot (dizaines à centaines d'exemples) surpasse parfois le fine-tuning pour des tâches très spécialisées
- La sensibilité à l'ordre des exemples est une limitation : les premiers et derniers exemples ont plus d'impact
Besoin d'un expert sur ce sujet ?
Audit, pentest, conformité ISO 27001, développement IA sécurisé — demandez un devis gratuit.
Demander un devis