Emergent Abilities

Définition

Les Emergent Abilities (capacites emergentes) designent des comportements ou capacites d'un LLM qui n'existent pas pour les modeles de petite taille et apparaissent abruptement a partir d'un certain seuil de parametres, sans avoir ete explicitement optimises. Documente par Wei et al. (Google Brain, 2022), c'est l'une des observations les plus intrigantes du scaling des LLMs. Exemples documentes d'emergence sur BIG-Bench : l'arithmetique multi-chiffres (emerge vers 100B parametres), le raisonnement en chaine (Chain-of-Thought, emerge vers 100B+), la traduction entre paires de langues non-vues a l'entrainement, la comprehension d'analogies abstraites. La nature des emergent abilities fait l'objet d'un debat actif. Schaeffer et al. (2023) ont argué que l'emergence est souvent un artefact du choix de la metrique : avec des metriques continues (au lieu de l'accuracy binaire), la progression serait graduelle et previsible selon les scaling laws. Pour l'AI Safety, les emergent abilities soulèvent des inquietudes : si des capacites potentiellement dangereuses peuvent emerger de maniere inattendue a grande echelle, l'extrapolation des comportements observes sur des petits modeles est risquee. C'est un argument fort pour le red teaming proactif. Les labs IA ont developpe des Dangerous Capabilities Evaluations : evaluation systematique des modeles pour des capacites emergentes potentiellement dangereuses (biosecurite, cyberoffensive) avant tout deployement public.