Transformeur bidirectionnel

Définition

Un transformeur bidirectionnel est une architecture de reseau de neurones qui encode chaque token en tenant compte simultanement du contexte a gauche et a droite dans une sequence. Contrairement aux modeles causaux type GPT, qui ne voient que les tokens precedents, l'encodeur bidirectionnel comme BERT construit une representation enrichie par la phrase entiere grace a un mecanisme d'auto-attention non masque. L'entrainement repose typiquement sur du masked language modeling : une fraction des tokens est masquee, et le modele apprend a les predire a partir du contexte complet. Cette approche produit des embeddings de tres bonne qualite pour des taches de comprehension : classification, extraction d'entites nommees, similarite semantique, recherche d'information et systemes de reranking dans les pipelines RAG. Les transformeurs bidirectionnels ne sont en revanche pas concus pour la generation de texte autoregressive, car ils ne respectent pas la causalite temporelle necessaire au decodage token par token. En entreprise, ils restent centraux pour les moteurs de recherche semantique, la moderation de contenu et les systemes de classification de documents sensibles. Pour un RSSI, leur usage frequent en amont d'un LLM generatif dans une chaine RAG en fait un composant a auditer au meme titre que le modele principal, notamment sur la provenance des donnees d'entrainement et les biais eventuels.