Normalisation de couche

Définition

La normalisation de couche, ou layer normalization, est une technique de stabilisation de l'entrainement des reseaux de neurones qui normalise les activations d'une couche en soustrayant leur moyenne et en divisant par leur ecart-type, calcules a travers l'ensemble des caracteristiques d'un meme exemple, contrairement a la batch normalization qui normalise a travers les exemples d'un batch. Cette difference la rend independante de la taille du batch et particulierement adaptee aux architectures sequentielles et aux transformeurs, ou elle est appliquee a chaque bloc, generalement avant ou apres les sous-couches d'attention et de reseau feed-forward, selon la variante pre-norm ou post-norm. La normalisation de couche reduit le phenomene de covariate shift interne, accelere la convergence de l'entrainement et permet d'utiliser des taux d'apprentissage plus eleves sans divergence numerique. Elle inclut generalement deux parametres appris, un facteur d'echelle et un decalage, qui permettent au reseau de retrouver une distribution optimale si la normalisation stricte n'est pas ideale pour la tache. Presente dans la quasi-totalite des architectures transformeurs modernes, du BERT original aux grands modeles de langage actuels, elle constitue un composant technique invisible pour l'utilisateur final mais determinant pour la stabilite et la reproductibilite de l'entrainement de modeles a plusieurs milliards de parametres.