Modele de langage a contexte etendu

Définition

Un modele de langage a contexte etendu, ou long-context LLM, est un grand modele de langage capable de traiter en une seule requete une fenetre de contexte tres large, pouvant aller de plusieurs dizaines de milliers a plusieurs millions de tokens selon les modeles, contre quelques milliers de tokens pour les premieres generations de transformeurs. Cette extension repose sur plusieurs leviers techniques combines : des methodes de positionnement relatif comme RoPE avec des techniques de scaling permettant l'extrapolation au-dela de la longueur vue a l'entrainement, des mecanismes d'attention optimises pour reduire le cout memoire quadratique, comme FlashAttention, et des architectures alternatives a complexite lineaire comme les state space models. La capacite a traiter un contexte etendu permet d'ingerer directement de longs documents, des bases de code entieres ou des historiques de conversation prolonges sans recourir systematiquement a un decoupage prealable via un pipeline RAG. Elle ne remplace pas pour autant totalement le RAG, car le cout d'inference et la latence croissent avec la taille du contexte fourni, et les etudes montrent une degradation de la capacite de recuperation d'information precise lorsque l'information pertinente est noyee au milieu d'un contexte tres long, un phenomene documente sous le nom de perte au milieu. Pour l'entreprise, le choix entre contexte etendu et RAG est un arbitrage entre simplicite architecturale et cout d'exploitation.