Mécanisme d'Attention / Self-Attention

Définition

Le mécanisme d'attention est le composant central de l'architecture Transformer qui permet à un modèle de pondérer dynamiquement l'importance de chaque token par rapport aux autres lors du traitement d'une séquence. Le Self-Attention calcule trois vecteurs pour chaque token : Query (Q), Key (K) et Value (V), puis compute un score d'attention via la formule Attention(Q,K,V) = softmax(QK^T/√dk)V. Le Multi-Head Attention exécute cette opération en parallèle sur plusieurs sous-espaces (heads), capturant différents types de relations syntaxiques et sémantiques. La complexité quadratique O(n²) par rapport à la longueur de séquence est la principale limitation, motivant des variantes comme Flash Attention, Sliding Window Attention (Mistral) et l'attention sparse. En sécurité, l'analyse des cartes d'attention (attention maps) permet l'interprétabilité des décisions du modèle, utile pour l'audit de systèmes IA critiques.