Pipeline Parallelism

Définition

Le Pipeline Parallelism (PP) est une technique de parallelisme distribue qui partitionne les couches d'un LLM en 'stages' et assigne chaque stage a un GPU different. Contrairement au Tensor Parallelism (qui partitionne les operations au sein d'une couche), le Pipeline Parallelism partitionne le modele en profondeur (couches 1-16 sur GPU 1, couches 17-32 sur GPU 2, etc.). Le defi principal du Pipeline Parallelism est la 'pipeline bubble' : GPU 2 doit attendre que GPU 1 finisse sa forward pass avant de commencer la sienne. La proportion de temps perdu en attente est de (P-1)/P ou P est le nombre de stages. Des schedules comme PipeDream (1F1B) et GPipe avec micro-batches divisent le batch en mini-batches pour remplir le pipeline et reduire cette inefficacite. Le Pipeline Parallelism est particulierement utile quand les tenseurs intermediaires (activations) sont trop grands pour la bande passante GPU-GPU (NVLink), car les communications inter-stages ne portent que les activations a la frontiere entre stages (beaucoup moins volumineuses que les activations internes d'une couche dans le Tensor Parallelism). En pratique, les grands modeles utilisant une combinaison 3D : Data Parallelism (batches independants), Tensor Parallelism (matrices dans une couche), et Pipeline Parallelism (couches sur des machines differentes). LLaMA 3.1 405B a ete entraine avec TP=8 (8 GPU par machine) et PP=8 (8 machines en pipeline) et DP=N (N repliques). Pour l'inference en production, le Pipeline Parallelism est moins utilise car la latence de batch unique est augmentee par le nombre de stages. Le Tensor Parallelism seul (dans une machine multi-GPU avec NVLink) est souvent preferable pour l'inference interactive.