Encoder-Only Architecture

Définition

L'architecture Encoder-Only (uniquement encodeur) est une sous-famille des Transformers qui utilise uniquement les couches d'encodeur avec attention bidirectionnelle pour produire des representations contextuelles du texte. Le representant historique est BERT (Bidirectional Encoder Representations from Transformers, Google, 2018), qui a revolutionne le NLP avant l'ere des LLMs generatifs. L'attention bidirectionnelle est la caracteristique cle : chaque token peut 'voir' tous les autres tokens du texte dans les deux directions (contrairement aux Decoder-Only ou chaque token ne voit que les precedents). Cela permet de produire des representations riches du contexte global d'un texte, ideal pour la comprehension semantique. Les taches principales des encodeurs : classification de texte (sentiment, toxicite, categorie), Named Entity Recognition (NER), extractive QA (trouver la reponse dans un texte), et generation d'embeddings de haute qualite pour la recherche semantique et les pipelines RAG. BERT, RoBERTa, DeBERTa, DistilBERT, CamemBERT (francais) sont les variantes majeures. Pour les embeddings semantiques (sentence-BERT / S-BERT), les encodeurs sont fine-tunes avec des objectifs contrastifs pour que des textes semantiquement similaires aient des embeddings proches. Ces modeles sont a la base des systemes de recherche vectorielle : E5, BGE, Nomic Embed, mxbai-embed. Depuis 2023, les Decoder-Only LLMs ont largement domine pour les taches generatives, mais les encodeurs restent essentiels pour les embeddings RAG (plus efficaces et moins chers), les cross-encoders de reranking, et les taches de classification a grande echelle ou l'inference temps-reel est critique.