Bibliothèque DeepSpeed

Définition

DeepSpeed est une bibliothèque open source développée par Microsoft pour optimiser l'entraînement et l'inférence de modèles de deep learning à grande échelle, en particulier les grands modèles de langage. Elle s'appuie sur PyTorch et fournit une implémentation de l'optimiseur ZeRO, qui partitionne les états d'entraînement entre GPU pour réduire l'empreinte mémoire, ainsi que des fonctionnalités de parallélisme de pipeline, d'offload CPU et NVMe, de quantification et d'entraînement en précision mixte. DeepSpeed inclut également DeepSpeed-Inference, un moteur optimisé pour le déploiement de modèles volumineux avec faible latence, et DeepSpeed-MoE pour les architectures Mixture of Experts. La bibliothèque a été utilisée pour l'entraînement de modèles notables, dont certains modèles de la famille BLOOM et des travaux de recherche chez Microsoft et ses partenaires. Elle se positionne comme une alternative ou un complément à Megatron-LM, avec lequel elle peut être combinée pour un parallélisme 3D complet, données, tenseurs et pipeline. Son intérêt pratique tient à l'accessibilité : elle permet à des équipes ne disposant pas de clusters massifs d'entraîner ou de fine-tuner des modèles de plusieurs dizaines de milliards de paramètres sur du matériel plus modeste, via l'offload mémoire. Pour un DSI, DeepSpeed est un critère de choix technique lors de la mise en place d'une infrastructure MLOps pour l'IA générative.