Quantification post-entraînement (Post-Training Quantization)

Définition

La quantification post-entraînement, ou Post-Training Quantization (PTQ), est une technique qui convertit les poids d'un modèle d'IA déjà entraîné, généralement stockés en 16 ou 32 bits, vers un format de précision numérique plus faible, comme 8 ou 4 bits, sans réentraîner le modèle depuis le début. Contrairement à la quantification consciente de l'entraînement, ou Quantization-Aware Training, qui simule les effets de la quantification pendant l'entraînement pour minimiser la perte de précision, la PTQ s'applique directement sur un modèle figé, souvent à l'aide d'un petit échantillon de données de calibration pour déterminer les plages de valeurs à quantifier. Des méthodes comme GPTQ, AWQ ou SmoothQuant appliquent des ajustements algorithmiques ciblés, par exemple en identifiant les poids les plus sensibles à la précision, pour limiter la dégradation de qualité du modèle malgré la réduction de précision. La quantification post-entraînement réduit fortement l'empreinte mémoire d'un modèle, un facteur de deux à quatre selon le niveau de bits choisi, et accélère l'inférence sur du matériel supportant le calcul en basse précision. Elle est largement utilisée pour déployer de grands modèles de langage sur des GPU grand public ou des serveurs à mémoire limitée. Pour une DSI, la PTQ est souvent l'option la plus rapide et la moins coûteuse pour réduire les coûts d'infrastructure d'un modèle déjà entraîné.