Cross-Attention

Définition

Le Cross-Attention (ou attention croisée) est un mécanisme d'attention dans lequel les queries proviennent d'une séquence source et les keys/values d'une autre séquence cible. Contrairement au Self-Attention où une séquence s'interroge elle-même, le Cross-Attention permet à un modèle de "regarder" une autre représentation pour enrichir sa propre compréhension. Ce mécanisme est fondamental dans les architectures Encoder-Decoder (comme les Transformers originaux utilisés en traduction automatique), où le décodeur interroge les représentations produites par l'encodeur à chaque pas de décodage. C'est ce qui permet à un modèle de traduction de "focaliser" son attention sur les parties pertinentes de la phrase source lors de la génération de chaque mot cible. Dans les modèles multimodaux modernes (GPT-4V, Claude 3 Vision, Gemini, LLaVA), le Cross-Attention joue un rôle crucial pour intégrer les embeddings visuels (produits par un encodeur d'images ViT) avec les représentations textuelles du décodeur LLM. Chaque token textuel peut ainsi "s'aligner" avec les patches d'image pertinents. Dans les systèmes de diffusion conditionnelle (Stable Diffusion, DALL-E), le Cross-Attention est le mécanisme par lequel le prompt textuel guide le processus de débruitage de l'image : à chaque bloc U-Net, les features spatiales de l'image sont interrogées par les embeddings CLIP du texte. Pour les systèmes RAG (Retrieval-Augmented Generation), une forme de cross-attention intervient lors de la fusion des passages récupérés avec la question, notamment dans des architectures comme FiD (Fusion-in-Decoder) où chaque passage est encodé séparément puis fusionné via cross-attention dans le décodeur. La maîtrise du Cross-Attention est essentielle pour comprendre l'architecture des modèles vision-langage, des systèmes de traduction neuronale et des pipelines RAG avancés utilisés en entreprise.