Quantification par bloc (Block-wise Quantization)

Définition

La quantification par bloc, ou block-wise quantization, est une méthode de quantification qui divise les poids d'un modèle en petits groupes, ou blocs, généralement de 32 à 256 valeurs, et calcule un facteur d'échelle distinct pour chaque bloc plutôt qu'un facteur unique pour l'ensemble d'une matrice ou du modèle entier. Cette granularité fine permet de mieux s'adapter aux variations locales de distribution des poids : certains blocs contiennent des valeurs de plus grande amplitude que d'autres, et un facteur d'échelle unique appliqué globalement dégraderait fortement la précision de représentation des blocs aux valeurs les plus faibles. La quantification par bloc réduit ainsi significativement l'erreur de quantification par rapport à une quantification par tenseur entier, au prix d'un léger surcoût de stockage lié aux facteurs d'échelle supplémentaires à conserver. Cette technique est au cœur de formats comme NF4 utilisé dans QLoRA, et des variantes de quantification du format GGUF employé par llama.cpp, où des désignations comme Q4_K indiquent une quantification par bloc avec des paramètres de précision spécifiques. Elle se combine souvent avec une double quantification, qui compresse également les facteurs d'échelle eux-mêmes pour réduire davantage l'empreinte mémoire totale. Pour les équipes techniques choisissant un format de déploiement de modèle, la granularité de la quantification par bloc est un facteur direct de compromis entre taille du modèle et qualité des réponses.