Nettoyage de corpus d'entraînement (Data Cleaning)

Définition

Le nettoyage de corpus d'entraînement regroupe l'ensemble des traitements appliqués aux données brutes avant leur utilisation pour entraîner un modèle de langage, afin d'en améliorer la qualité et de réduire le bruit. Il inclut la suppression du texte encodé de façon incorrecte, des balises HTML résiduelles, du contenu dupliqué, des textes trop courts ou dénués de sens, ainsi que le filtrage par des classifieurs de qualité entraînés à distinguer un texte bien formé d'un contenu spam ou généré automatiquement à faible valeur. Des projets comme C4, RefinedWeb ou FineWeb documentent des pipelines de nettoyage appliqués à des extractions du Common Crawl, combinant règles heuristiques, filtres de langue et modèles de classification. Le nettoyage traite également la déduplication exacte ou approximative, la normalisation Unicode et le retrait des informations personnelles identifiables lorsque la réglementation l'exige, en lien avec le RGPD. Une donnée mal nettoyée dégrade directement les performances du modèle et peut introduire des artefacts, comme la reproduction de boilerplate web ou de texte de navigation. Le nettoyage de corpus est aujourd'hui considéré comme un facteur aussi déterminant que l'échelle du modèle pour la qualité finale, plusieurs études montrant qu'un corpus plus petit mais mieux nettoyé surpasse un corpus brut plus volumineux et moins soigné.