Decoder-Only Architecture

Définition

L'architecture Decoder-Only (décodeur seul) est le design dominant de tous les grands modèles de langage génératifs modernes : GPT-4, Claude, LLaMA, Mistral, Gemma, Qwen, DeepSeek — ils utilisent tous cette architecture. Par opposition aux architectures Encoder-Decoder (T5, BART) ou Encoder-Only (BERT), un modèle Decoder-Only est constitué uniquement d'un empilement de blocs Transformer décodeurs. Le mécanisme clé des modèles Decoder-Only est le masked self-attention (attention causale) : chaque token ne peut "voir" que les tokens précédents dans la séquence (causal masking). Cette propriété est fondamentale pour la génération autorégressive — à l'inférence, le modèle génère un token à la fois, chaque nouveau token étant conditionné sur tous les tokens générés précédemment. L'entraînement se fait par prédiction du token suivant (next-token prediction, aussi appelé CLM — Causal Language Modeling) : étant donné la séquence x₁, x₂, ..., xₙ₋₁, le modèle doit prédire xₙ. Cette tâche d'entraînement simple et universelle est suffisante pour faire émerger des capacités remarquables de raisonnement, de génération de code et de compréhension contextuelle à grande échelle (scaling laws). Un avantage majeur du Decoder-Only est son efficacité à l'inférence grâce au KV-Cache : les clés et valeurs calculées pour les tokens du prompt et des tokens générés précédemment sont stockées et réutilisées, évitant de recalculer l'attention depuis zéro à chaque étape. Cette propriété est au cœur des optimisations de frameworks d'inférence comme vLLM (PagedAttention) et TGI. Pour les praticiens, comprendre l'architecture Decoder-Only est essentiel pour le prompt engineering (les tokens en fin de prompt ont plus d'influence), le fine-tuning (les loss masks permettent de ne calculer la loss que sur les tokens de réponse), et l'interprétation des benchmarks.