Rotary Position Embedding (RoPE)

Définition

Le Rotary Position Embedding (RoPE) est une technique d'encodage positionnel relatif proposée par Su et al. (2021) dans le paper "RoFormer: Enhanced Transformer with Rotary Position Embedding". C'est aujourd'hui l'encodage positionnel dominant dans les LLMs open-source modernes : LLaMA 2/3, Mistral, Mixtral, Qwen, DeepSeek, Phi et de nombreux autres l'utilisent. L'idée fondamentale de RoPE est d'encoder la position d'un token en faisant "tourner" les vecteurs de query et de key d'un angle proportionnel à leur position dans la séquence. Mathématiquement, pour un vecteur q à la position m, RoPE applique une rotation de matrice Rm : q_m = Rm × q. Les keys à la position n sont également rotées de Rn × k. Le produit scalaire qm · kn dépend alors uniquement de (m-n), soit la distance relative entre les deux tokens — ce qui est exactement la propriété souhaitée pour l'attention relative. Cette approche présente plusieurs avantages majeurs sur les encodages absolus : elle encode nativement les positions relatives, elle est compatible avec le caching du KV-Cache pour l'inférence incrémentale, et elle permet d'étendre la longueur de contexte au-delà de la longueur d'entraînement via des techniques d'interpolation/extrapolation comme YaRN, LongRoPE ou Dynamic NTK scaling. Pour les applications enterprise, RoPE est directement impactant : Llama 3.1 avec RoPE + YaRN supporte 128K tokens, permettant l'analyse complète de contrats de 200+ pages, de bases de code volumineuses ou de transcriptions de réunions sans découpage. Les modèles Qwen2.5 et Mistral Large supportent jusqu'à 1M tokens avec des variantes de RoPE.