Pré-entraînement (Pretraining)

Définition

Le pré-entraînement désigne la phase initiale d'entraînement d'un grand modèle de langage sur des corpus massifs non annotés (texte web, livres, code, Wikipedia) pour apprendre des représentations linguistiques générales et des connaissances encyclopédiques. Pour les LLM, l'objectif de pré-entraînement est typiquement la modélisation causale du langage (prédire le prochain token, GPT) ou le masquage de tokens (MLM, BERT). Le pré-entraînement de modèles comme GPT-4 ou LLaMA 3 70B nécessite des milliers de GPU pendant des semaines et représente la majorité du coût de développement. Cette phase établit les capacités de base du modèle : compréhension linguistique, raisonnement, connaissances factuelles. Le modèle pré-entraîné est ensuite affiné via instruction tuning et RLHF. En sécurité, les risques liés au pré-entraînement incluent la mémorisation involontaire de données sensibles (PII, secrets) présentes dans le corpus d'entraînement, extractibles via des attaques de membership inference ou de reconstruction.