Optimiseur AdamW

Définition

L'optimiseur AdamW est un algorithme d'optimisation utilisé pour entraîner les réseaux de neurones, qui combine les principes d'Adam, Adaptive Moment Estimation, avec une régularisation par weight decay découplée du gradient, corrigeant un défaut de l'implémentation originale d'Adam où la décroissance des poids se trouvait mêlée à l'estimation adaptative du taux d'apprentissage. Introduit par Loshchilov et Hutter en 2017, AdamW maintient, pour chaque paramètre, une estimation du premier moment, la moyenne mobile du gradient, et du second moment, la moyenne mobile du carré du gradient, ce qui lui permet d'adapter individuellement le taux d'apprentissage effectif de chaque paramètre. Cette séparation entre l'optimisation du gradient et la régularisation de la norme des poids améliore la généralisation du modèle final et facilite le réglage des hyperparamètres. AdamW est devenu l'optimiseur de référence pour l'entraînement des grands modèles de langage de type Transformer, utilisé dans le pré-entraînement de la majorité des modèles publiés, en combinaison avec une planification du taux d'apprentissage de type warm-up puis décroissance cosinus. Son principal inconvénient est sa consommation mémoire : il stocke deux estimations supplémentaires par paramètre, ce qui peut tripler l'empreinte mémoire par rapport aux poids seuls, un enjeu majeur à l'échelle de modèles comptant des dizaines de milliards de paramètres.