Continual Pre-training

Définition

Le Continual Pre-training (aussi appele Domain-Adaptive Pre-training ou DAPT) est la technique consistant a reprendre le pre-entrainement d'un LLM de base sur un corpus de donnees domaine-specifiques (textes medicaux, juridiques, cybersecurite, code specifique), avant tout SFT ou alignment. L'objectif est d'injecter des connaissances specialisees dans les poids du modele sans partir de zero. Contrairement au fine-tuning qui enseigne au modele 'comment se comporter' (format, style, instructions), le continual pre-training lui enseigne 'quoi savoir' : les concepts, terminologies, regulations et patterns specifiques a un domaine. Un LLM de cybersecurite necessite par exemple d'etre expose a des millions de rapports de vulnerabilites, analyses de malwares, logs de securite et publications de threat intelligence. La technique est utilisee par les modeles domaine-specialises les plus performants : MedPaLM (Google) sur des donnees medicales, CodeLLaMA (Meta) sur du code supplementaire, BioMedLM sur des textes biomedicaux, et SecLLaMA sur des corpus de securite. Ces modeles demarrent depuis Llama ou Mistral et continuent le pre-entrainement sur des corpus specifiques. Un risque majeur est le catastrophic forgetting : en apprenant de nouvelles informations, le modele peut 'oublier' ses capacites generales. Des strategies comme le data mixing (melanger les nouvelles donnees avec une fraction de donnees generales) et des learning rates tres bas (1e-5 a 5e-6) permettent d'attenuer ce phenomene. Pour les entreprises, le continual pre-training est justifie quand le SFT seul ne suffit pas a injecter suffisamment de connaissances domaine (ex: domaine tres technique avec nomenclature specifique, corpus volumineux de documents internes). Il necessite typiquement plusieurs GPU-jours a GPU-semaines selon la taille du modele et du corpus.