Continuous Batching

Définition

Le Continuous Batching (aussi appelé Dynamic Batching ou Iteration-level Scheduling) est une technique d'optimisation pour les serveurs d'inférence LLM qui améliore drastiquement l'utilisation GPU et le débit en traitant les requêtes au niveau des itérations de génération plutôt qu'au niveau des requêtes complètes. Cette technique est implémentée dans vLLM, TGI et la plupart des serveurs LLM production modernes. Dans un serveur LLM naïf utilisant le Static Batching, les requêtes d'un même batch sont traitées ensemble de bout en bout : le serveur attend que toutes les séquences du batch aient terminé leur génération avant d'en démarrer de nouvelles. Si une séquence génère 10 tokens et une autre 500 tokens, le GPU est sous-utilisé pendant les 490 étapes où la courte séquence est terminée mais la longue continue. Le Continuous Batching résout ce problème d'alignement en autorisant les séquences terminées à être immédiatement remplacées par de nouvelles requêtes en attente dans la file. À chaque étape de décodage, le scheduler peut retirer les séquences finies (EOS token atteint ou longueur max) et insérer de nouvelles séquences. Résultat : le GPU reste constamment occupé à sa capacité maximale, peu importe la distribution des longueurs de génération. L'implémentation du Continuous Batching est complexe car elle nécessite de gérer des séquences de longueurs variables dans un même batch (padding ou packing), de mettre à jour dynamiquement le KV-Cache (d'où l'importance de PagedAttention), et de coordonner le scheduling entre le préfill (traitement du prompt) et le decode (génération token par token). En pratique, le Continuous Batching permet d'augmenter le throughput (tokens générés par seconde) de 5-23× selon le mix de longueurs de requêtes, tout en réduisant la latence médiane P50 pour les requêtes courtes qui ne sont plus bloquées par des requêtes longues.