llama.cpp

Définition

llama.cpp est une implementation en C/C++ pure d'inference de LLMs, developpee par Georgi Gerganov (communaute open-source) originellement pour executer LLaMA sur Apple Silicon. C'est devenu le moteur de reference pour executer des LLMs localement sur du hardware accessible (laptops, desktops sans GPU NVIDIA), grace a ses optimisations extremes pour les CPU ARM et x86 et son support du format GGUF. L'innovation principale est la quantisation GGUF (anciennement GGML) : les poids du modele sont quantifies en INT4, INT5, INT8 avec differentes methodes (Q4_K_M, Q5_K_M, Q8_0), reduisant la taille d'un modele LLaMA 3.1 8B de ~16GB (BF16) a ~4.7GB (Q4_K_M), permettant de le faire tourner sur un MacBook Pro avec 16GB de RAM. Les performances sur Apple Silicon M2/M3 sont remarquables : LLaMA 3.1 8B Q4_K_M genere 30-40 tokens/seconde sur un MacBook Pro M3 (Metal backend), rendant l'experience interactive fluide. Sur Intel i9 (AVX2), les performances sont de 5-8 tokens/seconde pour le meme modele. llama.cpp detecte automatiquement le meilleur backend disponible. llama.cpp est la fondation de l'ecosysteme local LLM : LM Studio, Ollama, Jan, et GPT4All utilisent tous llama.cpp ou une version forquee comme backend d'inference. Il supporte les modeles Llama, Mistral, Qwen, Gemma, Phi, et des dizaines d'autres via le format GGUF unifie. L'API serveur integree (`llama-server --port 8080`) expose une API compatible OpenAI, permettant de diriger n'importe quelle application LangChain, LlamaIndex ou OpenAI-compatible vers un LLM local sans modifier le code client.