Pré-entraînement (Pretraining)

Définition

Le pré-entraînement, ou pretraining, désigne la phase initiale et la plus coûteuse en ressources de l'entraînement d'un grand modèle de langage, réalisée sur des corpus textuels massifs et non annotés, mêlant contenu web crawlé, livres, code source et encyclopédies comme Wikipedia, dans le but d'apprendre des représentations linguistiques générales et une vaste base de connaissances encyclopédiques implicites, avant toute spécialisation ultérieure vers une tâche ou un usage précis. Pour la majorité des LLM actuels, l'objectif d'entraînement poursuivi durant cette phase est la modélisation causale du langage, popularisée notamment par la famille GPT, consistant à prédire le token suivant d'une séquence à partir uniquement des tokens qui le précèdent, une tâche d'apparence simple mais qui, appliquée à une échelle massive de données, force le modèle à développer implicitement une compréhension syntaxique, sémantique et factuelle profonde du langage. Une approche alternative, le masquage de tokens popularisée par BERT, consiste à masquer aléatoirement certains tokens d'une séquence et à entraîner le modèle à les reconstituer à partir du contexte environnant, une approche particulièrement adaptée aux tâches de compréhension plutôt que de génération pure. Le coût computationnel du pré-entraînement, mesuré en unités de calcul flottant, constitue aujourd'hui la barrière économique majeure à l'entrée pour développer un modèle de fondation compétitif.