FSDP (Fully Sharded Data Parallel)

Définition

FSDP (Fully Sharded Data Parallel) est une technique de parallelisme distribue pour l'entrainement des LLMs, implementee nativement dans PyTorch depuis la version 1.11. Elle etend le Data Parallelism standard en shardant (partitionnant) non seulement les donnees d'entrainement mais aussi les poids du modele, les optimiseurs, et les gradients sur tous les GPU du cluster. Dans le Data Parallelism classique (DDP), chaque GPU maintient une copie complete du modele. FSDP resout le probleme de memoire en shardant les poids sur tous les GPU : chaque GPU ne stocke qu'une fraction (1/N) des poids. Lors de la forward pass, les GPU communiquent pour reassembler temporairement les poids necessaires (all-gather), effectuent le calcul, puis liberent les poids reassembles. Pendant la backward pass, les gradients sont egalement shardés. FSDP est l'equivalent open-source de ZeRO Stage 3 (DeepSpeed) et Megatron-LM, mais integre directement dans PyTorch sans dependances supplementaires. Il a ete utilise par Meta pour entrainer Llama 2 et Llama 3, ce qui en fait la reference pratique pour les equipes qui veulent reproduire ces entrainements. Les modes FSDP : FULL_SHARD (shard tout — poids, gradients, optimiseurs — economise le plus de memoire), SHARD_GRAD_OP (shard uniquement les gradients et optimiseurs — poids repliques comme DDP mais gradients shardes), NO_SHARD (equivalent DDP standard — pas de shard). Le mode recommande pour les grands modeles est FULL_SHARD. En pratique, FSDP avec FULL_SHARD permet d'entrainer des modeles 7-8 fois plus grands qu'avec DDP sur le meme cluster, au prix d'une communication supplementaire (all-gather et reduce-scatter). Avec NVLink, cet overhead est negligeable ; sur Ethernet 100Gb, il peut degrader le throughput de 20-30%.