vLLM

Définition

vLLM est un framework open-source d'inférence haute performance pour les LLMs, développé par l'équipe Skylab de UC Berkeley (Kwon et al., 2023). Il introduit PagedAttention, une innovation majeure dans la gestion du KV-Cache qui permet d'augmenter de 24× le débit d'inférence par rapport aux implémentations naïves, en devenant le standard de facto pour les déploiements production de LLMs. Le problème que vLLM résout est fondamental : dans les serveurs LLM naïfs, la mémoire KV-Cache est pré-allouée de manière contiguë pour chaque requête selon la longueur maximale de séquence. Cela provoque une fragmentation massive (jusqu'à 60-80% de mémoire gaspillée) et limite fortement la batch size. PagedAttention s'inspire de la gestion de mémoire virtuelle des systèmes d'exploitation : la mémoire KV-Cache est divisée en "pages" de taille fixe (blocks) qui peuvent être allouées de manière non-contiguë et partagées entre requêtes (notamment pour le prefix caching). vLLM implémente le Continuous Batching (aussi appelé iteration-level scheduling) : au lieu d'attendre que toutes les requêtes d'un batch soient terminées pour en démarrer de nouvelles, vLLM traite les nouvelles requêtes dès qu'une séquence du batch courant termine sa génération. Cela maximise l'utilisation GPU en éliminant les "bulles" d'inactivité. Pour les équipes DevOps/MLOps, vLLM expose une API compatible OpenAI (endpoints /v1/chat/completions et /v1/completions), permettant un remplacement drop-in de l'API OpenAI avec un LLM local ou sur-prem. Il supporte les modèles quantifiés (AWQ, GPTQ, int8 bitsandbytes), la génération multi-GPU avec tensor parallelism, et les modèles multimodaux. vLLM est utilisé en production par des entreprises comme Scale AI, Uber et de nombreux providers cloud IA pour servir des millions de requêtes LLM par jour.