Checkpoint d'entraînement (Training Checkpoint)

Définition

Un checkpoint d'entraînement est une sauvegarde intermédiaire de l'état complet d'un modèle en cours d'entraînement, incluant les valeurs de ses paramètres, l'état de l'optimiseur, le pas d'entraînement atteint et parfois le taux d'apprentissage courant, enregistrée à intervalles réguliers ou après un nombre donné d'itérations. Les checkpoints permettent de reprendre un entraînement interrompu par une panne matérielle, un dépassement de budget de calcul ou une préemption d'instance cloud, sans repartir de zéro, un enjeu critique pour les entraînements de grands modèles de langage qui s'étendent sur des semaines et mobilisent des milliers de GPU. Ils servent également à comparer les performances du modèle à différentes étapes de l'entraînement, à sélectionner le meilleur point selon des métriques de validation avant qu'un surapprentissage n'apparaisse, ou à effectuer des fusions de modèles entre différentes phases. Pour les très grands modèles, la taille d'un checkpoint peut atteindre plusieurs centaines de gigaoctets, ce qui impose des stratégies de sauvegarde distribuée et de compression, ainsi qu'une infrastructure de stockage dédiée à haut débit. La fréquence de sauvegarde résulte d'un compromis entre le coût de stockage et le temps de calcul perdu en cas de panne entre deux checkpoints, un arbitrage d'autant plus sensible que le coût horaire d'un cluster d'entraînement est élevé.