Scaling Laws

Définition

Les Scaling Laws (lois d'echelle) sont des relations empiriques qui decrivent comment la performance des LLMs evolue en fonction de trois variables : la taille du modele (nombre de parametres N), le volume de donnees (tokens D), et le compute total (FLOPs C). Decouvertes par Kaplan et al. (OpenAI, 2020), elles ont profondement influence la strategie de developpement de tous les grands labs IA. La decouverte fondamentale est que la perte (cross-entropy) des LLMs suit des lois de puissance par rapport a N, D et C. Cette regularite remarquable suggere que l'entrainement des LLMs est hautement previsible et que l'on peut anticiper la performance d'un modele a grande echelle depuis des runs a petite echelle. Les scaling laws Chinchilla (Hoffmann et al., DeepMind, 2022) ont revise les recommandations de Kaplan : il est optimal d'entrainer un modele N fois plus petit sur N fois plus de tokens. Chinchilla 70B, entraine sur 1.4T tokens, surpasse GPT-3 175B entraine sur 300B tokens. Les LLMs modernes (LLaMA 3, Mistral, Qwen2.5) depassent le 'Chinchilla optimal' car l'inference beneficie de modeles plus petits tres bien entraines. Un modele 7B sur-entraine est moins cher a servir qu'un 70B Chinchilla-optimal avec performances equivalentes. L'Inference Scaling (scaling au temps d'inference) est la nouvelle frontiere : plutot que d'agrandir les modeles, on augmente le compute d'inference via le raisonnement etendu (o1, DeepSeek-R1), le Best-of-N sampling et les arbres de recherche.