Aller au contenu principal
Expert Cybersécurité & IAv9.0
Centres de ressources conformité
Besoin d'un accompagnement expert ?
Devis personnalisé sous 24h — audit, conformité, incident
Outils open source — Gratuits, portables, hors ligne
Caractéristiques communes
100 % hors ligne — aucune donnée transmise
Portables — un seul fichier exécutable
Gratuits — MIT ou GPL v3
Code source ouvert sur GitHub
Checklists Sécurité — Audit & Durcissement
Formats disponibles
📄 PDF 📊 Excel 🌐 Web

11 checklists professionnelles couvrant 2 200+ points de contrôle. Téléchargement gratuit, aucune inscription.

Academy Contact

GPTQ

ia

Définition

GPTQ (Generative Pre-trained Transformers Quantization) est un algorithme de quantification post-entraînement (PTQ — Post-Training Quantization) pour les LLMs, développé par Frantar et al. (IST Austria, 2022). C'est aujourd'hui l'un des algorithmes de quantification les plus populaires pour réduire la taille et le coût d'inférence des LLMs, permettant de faire tourner des modèles de 65B paramètres sur des configurations de gaming (RTX 3090/4090). GPTQ s'appuie sur le framework OBQ (Optimal Brain Quantization), une version optimisée de la méthode classique OBS (Optimal Brain Surgeon). L'idée centrale est de quantifier les poids d'une couche linéaire W (de float16 vers int4 ou int3) en minimisant l'erreur quadratique sur un petit ensemble de données de calibration, en utilisant l'information de la matrice hessienne pour compenser les erreurs de quantification couche par couche. Contrairement à la quantification naïve (round-to-nearest), GPTQ procède poids par poids dans chaque colonne de la matrice de poids, compensant l'erreur de chaque poids quantifié en ajustant les poids restants. Cette compensation est rendue efficace par une astuce algorithmique (lazy batching + Cholesky decomposition) qui permet de traiter un LLM complet en moins d'une heure sur GPU. En pratique, GPTQ 4-bit sur LLaMA/Mistral 7B produit une dégradation de perplexité inférieure à 0.5 par rapport au modèle FP16 original, tout en réduisant la mémoire de 4× (7B FP16 ≈ 14GB → 7B GPTQ-int4 ≈ 3.5GB). Les modèles quantifiés avec GPTQ sont distribués dans le format GPTQ sur HuggingFace (TheBloke était le distributeur le plus actif) et peuvent être chargés directement avec la bibliothèque auto-gptq ou optimum. Pour les équipes IT/SecOps déployant des LLMs locaux sur des workstations, GPTQ est souvent le premier choix pour des modèles 7B-34B sur une seule GPU. Au-delà de 34B, GGUF avec llama.cpp ou AWQ peuvent offrir de meilleures performances selon le matériel disponible.

Chargement d'un modèle GPTQ

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Chargement direct avec HuggingFace (auto-gptq backend)
model = AutoModelForCausalLM.from_pretrained(
    "TheBloke/Mistral-7B-Instruct-v0.2-GPTQ",
    device_map="auto",
    torch_dtype=torch.float16
)
tokenizer = AutoTokenizer.from_pretrained("TheBloke/Mistral-7B-Instruct-v0.2-GPTQ")

Comparatif algorithmes de quantification

AlgoVitesse quant.Qualité 4-bitInférence
GPTQ~1h (7B)Très bonneBonne (GPU)
AWQ~30min (7B)MeilleureMeilleure (GPU)
GGUF Q4_K_MRapideBonneExcellente (CPU+GPU)
bitsandbytes 4-bitÀ la voléeCorrecteMoyenne

Quantification depuis scratch

from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig

quantize_config = BaseQuantizeConfig(bits=4, group_size=128, desc_act=False)
model = AutoGPTQForCausalLM.from_pretrained("mistralai/Mistral-7B-v0.1", quantize_config)
model.quantize(calibration_dataset)  # ~100-500 samples
model.save_quantized("./mistral-7b-gptq-4bit")

Articles liés

Un projet cybersécurité ?

Expert dispo · Réponse 24h

Devis