GPTQ
iaDéfinition
GPTQ (Generative Pre-trained Transformers Quantization) est un algorithme de quantification post-entraînement (PTQ — Post-Training Quantization) pour les LLMs, développé par Frantar et al. (IST Austria, 2022). C'est aujourd'hui l'un des algorithmes de quantification les plus populaires pour réduire la taille et le coût d'inférence des LLMs, permettant de faire tourner des modèles de 65B paramètres sur des configurations de gaming (RTX 3090/4090). GPTQ s'appuie sur le framework OBQ (Optimal Brain Quantization), une version optimisée de la méthode classique OBS (Optimal Brain Surgeon). L'idée centrale est de quantifier les poids d'une couche linéaire W (de float16 vers int4 ou int3) en minimisant l'erreur quadratique sur un petit ensemble de données de calibration, en utilisant l'information de la matrice hessienne pour compenser les erreurs de quantification couche par couche. Contrairement à la quantification naïve (round-to-nearest), GPTQ procède poids par poids dans chaque colonne de la matrice de poids, compensant l'erreur de chaque poids quantifié en ajustant les poids restants. Cette compensation est rendue efficace par une astuce algorithmique (lazy batching + Cholesky decomposition) qui permet de traiter un LLM complet en moins d'une heure sur GPU. En pratique, GPTQ 4-bit sur LLaMA/Mistral 7B produit une dégradation de perplexité inférieure à 0.5 par rapport au modèle FP16 original, tout en réduisant la mémoire de 4× (7B FP16 ≈ 14GB → 7B GPTQ-int4 ≈ 3.5GB). Les modèles quantifiés avec GPTQ sont distribués dans le format GPTQ sur HuggingFace (TheBloke était le distributeur le plus actif) et peuvent être chargés directement avec la bibliothèque auto-gptq ou optimum. Pour les équipes IT/SecOps déployant des LLMs locaux sur des workstations, GPTQ est souvent le premier choix pour des modèles 7B-34B sur une seule GPU. Au-delà de 34B, GGUF avec llama.cpp ou AWQ peuvent offrir de meilleures performances selon le matériel disponible.
Chargement d'un modèle GPTQ
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
# Chargement direct avec HuggingFace (auto-gptq backend)
model = AutoModelForCausalLM.from_pretrained(
"TheBloke/Mistral-7B-Instruct-v0.2-GPTQ",
device_map="auto",
torch_dtype=torch.float16
)
tokenizer = AutoTokenizer.from_pretrained("TheBloke/Mistral-7B-Instruct-v0.2-GPTQ")
Comparatif algorithmes de quantification
| Algo | Vitesse quant. | Qualité 4-bit | Inférence |
|---|---|---|---|
| GPTQ | ~1h (7B) | Très bonne | Bonne (GPU) |
| AWQ | ~30min (7B) | Meilleure | Meilleure (GPU) |
| GGUF Q4_K_M | Rapide | Bonne | Excellente (CPU+GPU) |
| bitsandbytes 4-bit | À la volée | Correcte | Moyenne |
Quantification depuis scratch
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig
quantize_config = BaseQuantizeConfig(bits=4, group_size=128, desc_act=False)
model = AutoGPTQForCausalLM.from_pretrained("mistralai/Mistral-7B-v0.1", quantize_config)
model.quantize(calibration_dataset) # ~100-500 samples
model.save_quantized("./mistral-7b-gptq-4bit")
Articles liés
Expert en cybersécurité offensive et intelligence artificielle. Pentest, audit et développement IA sur-mesure.
Services
- Audit Infrastructure
- Audit Kubernetes
- Audit Microsoft 365
- Audit Sécurité Réseau
- Analyse de Risques
- Audit Active Directory
- Audit Application Web
- Audit Cloud (AWS/Azure/GCP)
- Audit Messagerie
- Audit API (OWASP Top 10)
- Audit DevSecOps & CI/CD
- Audit Code Source (SAST)
- Audit Postes de Travail
- Audit Sauvegarde & Résilience
- Audit OT/SCADA (IEC 62443)
- Développement IA
- Formations
Ressources
Projets & Outils
© 2026 Ayi NEDJIMI Consultants. Tous droits réservés. 2.1.7
Un projet cybersécurité ?
Expert dispo · Réponse 24h