Format de poids GGUF
iaDéfinition
Le format GGUF, pour GPT-Generated Unified Format, est un format de fichier binaire conçu pour stocker et distribuer les poids de modèles de langage quantifiés, principalement utilisé par le moteur d'inférence llama.cpp et son écosystème. Successeur du format GGML, GGUF a été introduit pour améliorer l'extensibilité et la compatibilité ascendante, en intégrant dans un seul fichier les poids du modèle, les métadonnées nécessaires à son exécution, comme le tokenizer et les hyperparamètres d'architecture, et les informations de quantification. GGUF propose de nombreuses variantes de quantification, désignées par des noms comme Q4_K_M, Q5_K_S ou Q8_0, offrant différents compromis entre taille de fichier et qualité de génération, du 2 bits au 8 bits par poids. Ce format est massivement utilisé par la communauté open source, notamment sur la plateforme Hugging Face, pour distribuer des versions compressées de modèles comme Llama, Mistral ou Qwen, exécutables sur ordinateurs personnels sans GPU dédié, en s'appuyant sur le CPU et une mémoire vive standard. Le format GGUF se distingue d'ONNX, davantage orienté interopérabilité entre frameworks et matériels industriels, et de safetensors, format de référence pour les poids non quantifiés sur Hugging Face. Pour une équipe souhaitant déployer un modèle en local ou en périphérie, le format GGUF est souvent le point d'entrée le plus simple.
Articles liés
Expert en cybersécurité offensive et intelligence artificielle. Pentest, audit et développement IA sur-mesure.
Services
- Audit Infrastructure
- Audit Kubernetes
- Audit Microsoft 365
- Audit Sécurité Réseau
- Analyse de Risques
- Audit Active Directory
- Audit Application Web
- Audit Cloud (AWS/Azure/GCP)
- Audit Messagerie
- Audit API (OWASP Top 10)
- Audit DevSecOps & CI/CD
- Audit Code Source (SAST)
- Audit Postes de Travail
- Audit Sauvegarde & Résilience
- Audit OT/SCADA (IEC 62443)
- Développement IA
- Formations
Ressources
Projets & Outils
© 2026 Ayi NEDJIMI Consultants. Tous droits réservés.
Un projet cybersécurité ?
Expert dispo · Réponse 24h