Décodage par lots continus (Continuous Batching)

Définition

Le décodage par lots continus, ou continuous batching, est une technique d'ordonnancement utilisée par les serveurs d'inférence de grands modèles de langage pour maximiser l'utilisation des GPU en production. Dans un batching statique classique, un lot de requêtes est traité ensemble jusqu'à ce que toutes soient terminées, ce qui gaspille du calcul lorsque certaines séquences finissent plus tôt que d'autres et laissent le GPU sous-utilisé en attendant les plus longues. Le décodage par lots continus insère dynamiquement de nouvelles requêtes dans le lot dès qu'une place se libère, à chaque étape de génération de token, plutôt qu'à la fin d'un lot complet. Cette technique, popularisée par le moteur vLLM et son ordonnanceur, augmente significativement le débit global du serveur, souvent d'un facteur de plusieurs unités par rapport au batching statique, en particulier lorsque les longueurs de séquences varient fortement entre utilisateurs. Elle s'appuie généralement sur un cache de valeurs-clés paginé pour gérer efficacement la mémoire des séquences de longueurs différentes coexistant dans le même lot. Le décodage par lots continus est aujourd'hui un standard de facto des serveurs d'inférence LLM modernes, dont Text Generation Inference et TensorRT-LLM. Pour une DSI, cette optimisation réduit directement le nombre de GPU nécessaires pour servir un volume donné de requêtes.