GGML

Définition

GGML (Georgi Gerganov Machine Learning) est un format de fichier et une bibliotheque C pour l'inference de LLMs quantises, developpes par Georgi Gerganov. GGML est le predecesseur direct de GGUF (GGML Unified Format) et a permis les premiers deployments de LLaMA et autres modeles open-source sur du hardware grand public (CPU, Apple Silicon, GPU VRAM limitee) via le projet llama.cpp. L'histoire de GGML : en mars 2023, quelques jours apres la fuite des poids de LLaMA 1 de Meta, Georgi Gerganov a cree llama.cpp et le format GGML pour permettre d'executer LLaMA 7B en inference CPU sur un MacBook. Cette demo virale a lance l'ecosysteme LLM local open-source. Le format GGML encodait les poids quantises dans un fichier binaire simple avec des metadonnees minimales. Les limitations de GGML : (1) Structure rigide qui ne s'adaptait pas facilement aux nouvelles architectures de modeles, (2) Metadonnees insuffisantes (necessitait des parametre en ligne de commande pour specifier l'architecture), (3) Manque de versionnage clair, (4) Difficulte d'extension pour les nouveaux hyperparametres. Ces limitations ont conduit au developpement de GGUF. GGUF (aout 2023) a remplace GGML : GGUF (GGML Unified Format) encode toutes les metadonnees du modele dans le fichier lui-meme (architecture, hyperparametres, tokenizer), supporte un systeme de cles-valeurs extensible pour les nouvelles architectures, et offre un meilleur support des architectures de modeles variees (LLaMA, Mistral, Falcon, MPT, etc.). L'heritage de GGML : malgre son remplacement par GGUF, GGML a eu un impact majeur sur la democratisation de l'IA. Il a permis a des millions d'utilisateurs d'executer des LLMs en local pour la premiere fois, a inspire LM Studio, Ollama, et GPT4All, et a demontre que les LLMs pouvaient fonctionner sans GPU couteux en production.