Précision mixte d'entraînement (Mixed Precision Training)

Définition

La précision mixte d'entraînement, ou mixed precision training, est une technique qui combine plusieurs formats numériques, typiquement le FP16 ou le BF16 en seize bits pour la majorité des calculs, et le FP32 en trente-deux bits pour certaines opérations sensibles comme l'accumulation des gradients, afin d'accélérer l'entraînement des réseaux de neurones et de réduire la mémoire GPU consommée, tout en préservant la stabilité numérique. Formalisée par NVIDIA en 2017, cette approche s'appuie sur un scaling de la perte, qui multiplie temporairement la valeur de la fonction de perte par un facteur avant la rétropropagation, afin d'éviter que les petits gradients ne soient tronqués à zéro par le manque de précision du format seize bits, une technique appelée loss scaling. Le format BF16, Brain Float 16, développé par Google, conserve la même plage dynamique que le FP32 tout en réduisant la précision de la mantisse, ce qui le rend plus stable que le FP16 sans nécessiter de loss scaling, et en fait le format privilégié pour l'entraînement des grands modèles de langage sur les GPU récents comme les architectures NVIDIA Ampere et Hopper. La précision mixte permet de diviser par près de deux la mémoire nécessaire et d'accélérer sensiblement l'entraînement grâce aux unités de calcul Tensor Core optimisées pour ces formats réduits.