Bibliothèque Megatron-LM

Définition

Megatron-LM est une bibliothèque open source développée par NVIDIA pour l'entraînement de très grands modèles de langage de type transformer sur des clusters GPU. Elle a introduit et popularisé le parallélisme tensoriel appliqué aux couches d'attention et aux blocs feed-forward, permettant de répartir le calcul d'une même couche entre plusieurs GPU interconnectés par NVLink. Megatron-LM combine ce parallélisme tensoriel avec le parallélisme de pipeline, qui découpe le modèle en segments de couches successifs répartis sur différents groupes de GPU, et avec le parallélisme de données classique, formant une approche dite 3D parallelism. Cette combinaison a permis d'entraîner des modèles comme Megatron-Turing NLG, développé conjointement par NVIDIA et Microsoft, avec plusieurs centaines de milliards de paramètres. La bibliothèque est souvent utilisée conjointement avec DeepSpeed, sous la forme du projet Megatron-DeepSpeed, pour cumuler les optimisations mémoire de ZeRO et le parallélisme tensoriel de Megatron. Elle cible principalement les grands laboratoires de recherche et les fournisseurs de cloud disposant de clusters GPU denses, comme les instances NVIDIA DGX. Pour un DSI ou un responsable infrastructure, Megatron-LM illustre les exigences matérielles, interconnexion GPU rapide, mémoire élevée, réseau haut débit, nécessaires à l'entraînement de modèles de fondation à l'échelle industrielle plutôt qu'au fine-tuning de modèles existants.