Pruning (élagage de modèle)

Définition

Le Pruning (élagage en français) est une technique de compression des réseaux de neurones qui consiste à supprimer les poids ou neurones jugés peu importants pour la performance du modèle, réduisant sa taille, sa consommation mémoire et son coût d'inférence. Appliqué aux LLMs, le pruning fait l'objet d'une recherche active pour trouver des sous-réseaux de modèles géants qui préservent les capacités essentielles. On distingue deux familles de pruning : le Structured Pruning (élagage structuré) supprime des unités entières — têtes d'attention, couches FFN entières, couches Transformer complètes — produisant des modèles denses de plus petite taille, directement compatibles avec tous les frameworks d'inférence standard. Le Unstructured Pruning (élagage non-structuré) met à zéro des poids individuels dans les matrices, produisant des modèles "sparse" (creux) qui ne réduisent l'empreinte mémoire que si la sparsité est suffisamment haute (>70%) et si le hardware supporte les opérations sparse. Pour les LLMs, SparseGPT (Frantar & Alistarh, 2023) a montré qu'il est possible de rendre 50% des poids d'un LLM GPT-like nuls (unstructured pruning) en une seule passe sur GPU, avec une dégradation de perplexité minime. Wanda (Sun et al., 2023) propose une approche encore plus simple basée sur le produit magnitude des poids × norme des activations. Le Structured Pruning appliqué aux LLMs prend souvent la forme de depth pruning (suppression de couches Transformer entières) ou de width pruning (réduction des dimensions d'attention/FFN). LLM-Pruner (2023) et ShortGPT (2024) montrent qu'il est possible de supprimer 20-30% des couches d'un LLM avec seulement quelques heures de recovery fine-tuning, obtenant des modèles plus compacts que la distillation directe. En pratique, le pruning est moins utilisé que la quantification (GPTQ, AWQ, GGUF) pour les déploiements locaux car il nécessite un accès aux données de calibration et un fine-tuning de recovery. Cependant, pour les applications edge (smartphones, IoT), le structured pruning reste une approche complémentaire à la quantification.