Gradient Clipping

Définition

Le Gradient Clipping est une technique d'optimisation utilisee lors de l'entrainement des reseaux de neurones profonds, et particulierement des LLMs, qui consiste a limiter la norme (magnitude) des gradients avant la mise a jour des poids. Si la norme globale des gradients depasse un seuil max_norm, tous les gradients sont mis a l'echelle proportionnellement pour que leur norme totale soit exactement max_norm. Le probleme qu'il resout est l'explosion des gradients : dans les reseaux profonds comme les Transformers, la propagation des gradients a travers de nombreuses couches peut provoquer une croissance exponentielle de leur magnitude. Un seul gradient trop grand peut faire un 'saut' catastrophique dans l'espace des parametres, destabilisant l'entrainement. Le Gradient Clipping est particulierement important pour les LLMs avec des contextes longs ou les gradients se propagent sur beaucoup de tokens. La formule du Global Norm Clipping : clip_grad_norm_(params, max_norm), qui calcule g = sqrt(somme(grad^2)) pour tous les params, puis scale les gradients par min(1, max_norm/g). Si g <= max_norm, aucun clipping n'est effectue. La valeur standard de max_norm pour les LLMs est 1.0 (utilisee dans GPT-2, LLaMA, Mistral). Le gradient clipping doit etre applique apres le backward() mais avant l'optimizer.step(). Une implementation courante avec HuggingFace/PyTorch inclut le clipping comme partie du cycle d'entrainement standard, avec suivi de la norme avant et apres clipping pour monitorer si le clipping est souvent actif (ce qui peut indiquer un learning rate trop eleve ou un batch trop petit). Des alternatives au gradient clipping incluent : l'utilisation de RMSNorm (plus stable que LayerNorm), de residual connections, et de l'initialisation soigneuse des poids (Xavier, Kaiming). Cependant, le gradient clipping reste un garde-fou important dans presque tous les entrainements de LLMs modernes.