Feed-Forward Network (FFN)

Définition

Le Feed-Forward Network (FFN), aussi appelé MLP (Multi-Layer Perceptron) dans ce contexte, est le deuxième sous-composant majeur de chaque bloc Transformer, après le mécanisme d'attention. Il traite chaque token de manière indépendante (point-wise), appliquant une transformation non-linéaire dans un espace de dimension bien plus large que l'espace d'embedding. Dans le Transformer original, le FFN est composé de deux projections linéaires avec une activation ReLU entre elles : FFN(x) = max(0, xW₁ + b₁)W₂ + b₂. La dimension intermédiaire d_ff est typiquement 4× la dimension du modèle d_model (ex: 4096×4 = 16384 pour LLaMA 7B). Cette expansion puis compression est parfois appelée "bottleneck" à l'envers. Des recherches récentes (Geva et al., 2021) ont montré que les couches FFN agissent comme des "mémoires de clés-valeurs" qui stockent des associations factuelles dans leurs paramètres. Les clés (lignes de W₁) s'activent pour des patterns d'input spécifiques, et les valeurs (lignes de W₂) encodent les informations à retriever. Cette compréhension est fondamentale pour l'interprétabilité mécaniste des LLMs. Les LLMs modernes remplacent la ReLU par des activations plus expressive : SwiGLU (LLaMA, Mistral, Qwen), GeGLU, ou SoLU. Ces activations "gated" utilisent deux branches parallèles avec une multiplication élément-par-élément, améliorant significativement les performances à paramètres équivalents. Dans les architectures MoE, le FFN est remplacé par une collection d'experts FFN avec routage dynamique. Pour les praticiens, le FFN représente environ 2/3 des paramètres d'un Transformer (vs ~1/3 pour l'attention), et son dimensionnement est un levier clé dans le scaling des modèles selon les scaling laws de Chinchilla.