Fenêtre de contexte glissante en inférence

Définition

La fenêtre de contexte glissante en inférence, ou sliding window attention, est une technique qui limite le calcul d'attention d'un modèle de langage à une fenêtre de taille fixe de tokens récents, plutôt qu'à l'intégralité de la séquence traitée depuis le début. Au lieu que chaque token attende à tous les tokens précédents, ce qui coûte quadratiquement en calcul et en mémoire avec la longueur de séquence, chaque token n'attend qu'aux quelques milliers de tokens qui le précèdent immédiatement, la fenêtre glissant au fil de la génération. Cette approche, utilisée notamment par les modèles Mistral, réduit fortement l'empreinte mémoire du cache de valeurs-clés lors du traitement de très longs contextes, rendant possible le traitement de séquences de dizaines de milliers de tokens sans coût mémoire prohibitif. Le compromis est une perte potentielle d'information provenant de tokens anciens sortis de la fenêtre, atténuée dans certaines architectures par un mécanisme de couches empilées qui permet indirectement à l'information de circuler sur une portée effective plus grande que la fenêtre elle-même. La fenêtre de contexte glissante se distingue de l'attention complète utilisée par exemple dans les premiers modèles GPT, et des mécanismes d'attention éparse alternatifs. Pour une DSI évaluant des modèles pour des cas d'usage à long contexte, ce choix d'architecture influence directement le coût mémoire et la latence d'inférence.