Attention lineaire

Définition

L'attention lineaire designe une famille de variantes du mecanisme d'auto-attention concues pour reduire sa complexite calculatoire, quadratique par rapport a la longueur de la sequence dans l'attention standard, a une complexite lineaire. L'attention classique calcule un produit scalaire entre chaque paire de tokens via une matrice de similarite requete-cle, ce qui devient prohibitif au-dela de quelques dizaines de milliers de tokens. Les approches d'attention lineaire reformulent ce calcul en reorganisant l'ordre des operations matricielles, ou en approximant la fonction softmax par un noyau factorisable, ce qui permet de calculer un resultat mathematiquement proche sans jamais materialiser explicitement la matrice d'attention complete. Des methodes comme Performer, Linear Transformer ou plus recemment les architectures a base de state space models telles que Mamba s'inscrivent dans cette logique, meme si toutes ne relevent pas strictement de la meme famille technique. Le benefice principal est la capacite a traiter des sequences beaucoup plus longues avec une empreinte memoire et un temps de calcul maitrises, au prix generalement d'une legere perte de qualite ou d'expressivite par rapport a l'attention exacte, en particulier sur les taches necessitant une recuperation precise d'information a longue distance. Pour les cas d'usage documentaires volumineux en entreprise, ces methodes representent un compromis pertinent entre cout d'infrastructure et performance du modele.