Pre-LayerNorm vs Post-LayerNorm

Définition

Pre-LayerNorm (Pre-LN) et Post-LayerNorm (Post-LN) designent deux variantes architecturales des Transformers qui different par la position de la normalisation par couche (LayerNorm) relative aux sub-couches d'attention et FFN. Ce choix apparemment mineur a des implications significatives sur la stabilite de l'entrainement et la qualite finale du modele. Post-LayerNorm (architecture originale d'Attention Is All You Need, 2017) : la normalisation est appliquee apres la sous-couche et la connexion residuelle — x = LayerNorm(x + Sublayer(x)). C'est l'architecture du Transformer original, de BERT, et des premiers GPTs. Elle souffre de gradients instables pendant l'entrainement des modeles profonds (gradient vanishing/explosion), necessitant des techniques speciales de warmup et de regularisation. Pre-LayerNorm (standard moderne) : la normalisation est appliquee avant la sous-couche — x = x + Sublayer(LayerNorm(x)). Utilisee par GPT-2, GPT-3, LLaMA (toutes versions), Mistral, et la plupart des LLMs modernes. Pre-LN offre une stabilite d'entrainement bien superieure car la connexion residuelle preservee permet a l'information de fluer sans degredation. C'est pourquoi les LLMs peuvent etre entraines sans warmup complexe. RMSNorm est une variante de LayerNorm utilisee dans les LLMs recents (LLaMA, Mistral, DeepSeek) : RMSNorm normalise uniquement par la norme quadratique moyenne (Root Mean Square) sans centrage, ce qui est computationnellement plus efficace (~40% plus rapide que LayerNorm). RMSNorm maintient les avantages de Pre-LN avec un cout computationnel reduit. Deep Norm (Microsoft, 2022) est une variante de Post-LN qui ameliore la stabilite via une initialisation des poids et une mise a l'echelle specifiques des connexions residuelles. Deep Norm permet de former des Transformers de 1000+ couches (bien plus profonds que Pre-LN) avec une stabilite comparable. Des modeles comme PaLM et certaines variantes utilisent Deep Norm ou des variantes hybrides.