Modele de langage causal

Définition

Un modele de langage causal (causal language model) est un modele entraine a predire le token suivant dans une sequence en n'utilisant que le contexte precedent, jamais les tokens futurs, grace a un mecanisme de masquage d'attention (causal mask ou masked self-attention) applique dans l'architecture Transformer. Ce paradigme, dit unidirectionnel ou autoregressif, s'oppose aux modeles de langage masques comme BERT, qui predisent des tokens manquants en observant le contexte bidirectionnel complet. La famille GPT (Generative Pre-trained Transformer), ainsi que Llama, Mistral ou Claude, repose sur cette architecture causale, qui se prete naturellement a la generation de texte token par token lors de l'inference. L'entrainement se fait par minimisation de la perte d'entropie croisee entre le token predit et le token reel sur de vastes corpus, souvent plusieurs milliers de milliards de tokens pour les modeles de derniere generation. Ce choix architectural conditionne les capacites du modele : forte aptitude generative et conversationnelle, mais comprehension bidirectionnelle du contexte parfois moins fine que les modeles masques pour certaines taches de classification. Pour un RSSI, comprendre ce fonctionnement token par token est utile pour analyser les vecteurs d'attaque par injection de prompt, qui exploitent precisement la maniere dont le modele integre progressivement le contexte fourni par l'utilisateur.