Encoder-Decoder Architecture

Définition

L'architecture Encoder-Decoder (aussi appelee Seq2Seq Transformer) utilise les deux blocs du Transformer original de Vaswani et al. (2017) : un encodeur qui produit une representation contextuelle de l'entree, et un decodeur qui genere la sortie token par token en utilisant l'attention croisee (cross-attention) sur cette representation encodee. T5 (Text-to-Text Transfer Transformer, Google, 2020) est le modele Encoder-Decoder de reference : il formule toutes les taches NLP comme des problemes texte-vers-texte (traduction, resume, QA, classification sont tous des 'traduits' d'un format a l'autre). BART (Facebook, 2019) est entraine avec un objectif de debruiteur (denoising autoencoder), excellent pour le resume et la correction de texte. L'avantage de l'Encoder-Decoder sur les Decoder-Only pour les taches seq2seq : l'encodeur voit tout le texte source en bidirectionnel (meilleure comprehension), puis le decodeur genere en autoregressif. Pour la traduction et le resume, cette separation 'comprendre puis generer' est theroriquement avantageuse. Cependant, les Decoder-Only LLMs suffisamment grands (GPT-4, Llama 3.1 70B) ont largement depass les Encoder-Decoder sur presque toutes les taches, meme celles ou l'Encoder-Decoder etait historiquement dominant. La simplicite de l'architecture Decoder-Only et sa scalabilite superieure expliquent ce renversement. Les usages residuels des Encoder-Decoder en 2025 : traduction offline specialisee (OPUS-MT, mBART-50 pour 50 langues), resume de documents ou la fidelite au source est critique (PEGASUS), et des taches de QA extractive avec contraintes de latence d'inference.