Élagage non structuré (Unstructured Pruning)

Définition

L'élagage non structuré est une technique de compression de modèle qui met à zéro des poids individuels d'un réseau de neurones, sélectionnés selon un critère d'importance comme leur magnitude, sans respecter de structure géométrique particulière au sein des matrices de poids. Contrairement à l'élagage structuré, qui retire des blocs entiers, l'élagage non structuré peut atteindre des niveaux de parcimonie très élevés, souvent supérieurs à 90 pour cent des poids, tout en préservant une grande partie de la performance du modèle d'origine, car la sélection fine des poids à conserver est plus précise. Sa principale limite est pratique : les matrices creuses irrégulières ainsi produites n'accélèrent pas l'inférence sur du matériel standard, GPU ou CPU classiques, sauf à disposer de noyaux de calcul spécialisés capables d'exploiter la parcimonie non structurée, comme certains accélérateurs récents de NVIDIA supportant la parcimonie 2:4. Des méthodes comme SparseGPT ou Wanda ont montré qu'il est possible d'élaguer de grands modèles de langage en une seule passe, sans ré-entraînement complet, en résolvant localement un problème de reconstruction des activations couche par couche. L'élagage non structuré reste donc surtout utilisé pour la recherche sur la redondance des réseaux ou en combinaison avec des formats matériels dédiés, plutôt que pour un déploiement généraliste immédiat en production.