Planification du taux d'apprentissage (Learning Rate Scheduling)

Définition

La planification du taux d'apprentissage, ou learning rate scheduling, est une stratégie qui fait varier le taux d'apprentissage d'un modèle au fil de l'entraînement, plutôt que de le maintenir constant, afin d'améliorer la stabilité de la convergence et la qualité finale du modèle. Les schémas les plus courants pour l'entraînement de grands modèles de langage combinent une phase de warm-up, durant laquelle le taux d'apprentissage augmente progressivement depuis une valeur proche de zéro afin d'éviter des mises à jour instables en tout début d'entraînement, suivie d'une phase de décroissance, souvent selon une courbe en cosinus, une décroissance linéaire ou par paliers, jusqu'à une valeur résiduelle proche de zéro en fin d'entraînement. D'autres schémas, comme le warmup-stable-decay, maintiennent un taux constant pendant la majeure partie de l'entraînement avant une décroissance finale rapide, ce qui facilite la reprise de checkpoints intermédiaires pour un pré-entraînement continu ultérieur. Un taux d'apprentissage mal planifié peut provoquer une divergence de l'entraînement, des pertes qui explosent, ou au contraire une convergence trop lente qui gaspille le budget de calcul. Le choix du schéma et de ses hyperparamètres, valeur maximale, durée de warm-up, forme de la décroissance, fait partie des décisions les plus déterminantes documentées dans les rapports techniques des grands modèles de langage publiés.