KV-Cache

Définition

Le KV-cache est une optimisation d'inférence des grands modèles de langage qui stocke les vecteurs clé et valeur, key et value, calculés par les couches d'attention pour chaque token déjà traité, afin d'éviter de les recalculer intégralement à chaque nouveau token généré. Dans l'architecture Transformer, le mécanisme d'attention doit en principe comparer chaque nouveau token à tous les tokens précédents du contexte ; sans cache, cela impose de recalculer l'ensemble des projections clé-valeur pour toute la séquence à chaque étape de génération, un coût quadratique prohibitif pour les longs contextes. En conservant ces vecteurs en mémoire GPU au fur et à mesure de la génération, le KV-cache réduit considérablement la latence, en particulier pour les conversations longues ou les documents volumineux traités dans la fenêtre de contexte. Sa contrepartie est une consommation mémoire significative, qui croît linéairement avec la longueur du contexte et le nombre de couches du modèle, ce qui pousse les fournisseurs d'inférence à développer des techniques complémentaires comme le paged attention, popularisé par vLLM, ou la quantification du cache. Pour les architectures multi-tenant, l'isolation correcte du KV-cache entre utilisateurs est un enjeu de sécurité critique : une fuite ou un partage accidentel de cache entre sessions pourrait exposer le contenu du contexte d'un autre utilisateur.