Architecture Transformer

Définition

L'architecture Transformer, introduite dans l'article fondateur « Attention Is All You Need » publié par Vaswani et al. en 2017, constitue le fondement architectural de la quasi-totalité des grands modèles de langage modernes, ayant supplanté les architectures récurrentes (RNN, LSTM) qui dominaient jusqu'alors le traitement automatique du langage naturel. Elle repose exclusivement sur le mécanisme de self-attention, qui permet à chaque token d'une séquence de calculer et de pondérer dynamiquement son importance relative par rapport à l'ensemble des autres tokens de la même séquence, traités simultanément en parallèle plutôt que séquentiellement token par token comme l'imposait la structure intrinsèquement séquentielle des réseaux récurrents antérieurs. Cette parallélisation complète du traitement a permis un entraînement considérablement accéléré sur du matériel GPU massivement parallèle, condition technique indispensable qui a directement rendu possible l'explosion d'échelle des modèles observée depuis. Les composants clés de l'architecture incluent les couches d'attention multi-têtes (multi-head attention), permettant au modèle de capturer simultanément plusieurs types de relations différentes entre tokens, les réseaux de propagation avant (feed-forward networks) appliqués position par position, et l'encodage positionnel, nécessaire pour compenser l'absence native de notion d'ordre séquentiel dans un mécanisme d'attention qui traite intrinsèquement l'ensemble des tokens en parallèle et non successivement.