Parallélisme tensoriel

Définition

Le parallélisme tensoriel est une technique de parallélisation qui découpe les matrices de poids d'un modèle, par exemple les couches d'attention ou les réseaux feed-forward d'un transformer, entre plusieurs accélérateurs, chaque dispositif ne traitant qu'une tranche de chaque opération matricielle. Contrairement au parallélisme de données, qui réplique le modèle entier, le parallélisme tensoriel permet d'entraîner ou d'inférer avec des modèles trop volumineux pour tenir sur un seul GPU, y compris pour un seul exemple. Popularisé par Megatron-LM de NVIDIA, il exige des communications fréquentes et à faible latence entre GPU, typiquement via NVLink ou NVSwitch au sein d'un même nœud, car chaque couche nécessite une synchronisation. Cette contrainte de latence limite en pratique le parallélisme tensoriel à un petit nombre de GPU colocalisés, à la différence du parallélisme de pipeline ou de données qui tolèrent des liaisons réseau plus lentes entre nœuds. Il est couramment combiné avec le parallélisme de pipeline et le parallélisme de données dans une stratégie dite 3D parallelism pour entraîner des modèles de centaines de milliards de paramètres. Pour les équipes MLOps, le parallélisme tensoriel implique un choix d'infrastructure spécifique, avec des serveurs multi-GPU interconnectés, et un impact direct sur le coût et la complexité opérationnelle d'un projet d'IA générative à grande échelle.