Compression de modèle par élagage structuré (Structured Pruning)

Définition

La compression de modèle par élagage structuré est une technique de réduction de la taille d'un réseau de neurones qui supprime des blocs entiers et cohérents de paramètres, comme des neurones complets, des canaux de convolution, des têtes d'attention ou des couches entières, plutôt que des poids individuels dispersés. Cette approche produit un modèle plus petit dont l'architecture reste régulière et directement exploitable par le matériel standard, GPU comme CPU, sans nécessiter de bibliothèques spécialisées pour exploiter la parcimonie, contrairement à l'élagage non structuré. L'élagage structuré s'appuie sur des critères d'importance, comme la norme des poids d'un canal, sa contribution moyenne à l'activation, ou des méthodes basées sur le gradient, pour identifier les composants les moins utiles à retirer. Après élagage, une phase de fine-tuning ou de ré-entraînement est généralement nécessaire pour récupérer la performance perdue. Des travaux comme LLM-Pruner ou Sheared LLaMA ont montré qu'il est possible de retirer 20 à 50 pour cent des paramètres d'un grand modèle de langage tout en conservant une large part de ses capacités, moyennant un fine-tuning de récupération limité. Cette technique est privilégiée pour le déploiement de modèles sur des environnements contraints en mémoire et en calcul, comme l'edge computing ou les infrastructures on-premise à budget limité.