Mélange de données d'entraînement (Data Mixture)

Définition

Le mélange de données d'entraînement désigne la répartition, en proportions définies, des différentes sources de texte utilisées pour pré-entraîner ou fine-tuner un modèle de langage : pages web filtrées, livres, code, articles scientifiques, dialogues, données multilingues. Ce mélange détermine directement les capacités et les biais du modèle final : une part importante de code améliore le raisonnement logique, une part de contenu multilingue conditionne les performances hors anglais. Les équipes d'entraînement ajustent les poids de chaque source via un ratio d'échantillonnage, parfois en sur-échantillonnant les corpus de haute qualité mais rares, comme Wikipédia ou les publications scientifiques, par rapport au web brut, très volumineux mais bruité. Des méthodes récentes automatisent ce dosage par optimisation, en ajustant les proportions au cours de l'entraînement selon des métriques de perte sur des ensembles de validation représentatifs de chaque domaine cible. Un mauvais mélange peut provoquer un surapprentissage sur les sources sur-représentées ou une dilution des compétences spécialisées. Le mélange de données est un des leviers les plus déterminants de la qualité finale d'un modèle, au même titre que l'architecture ou le nombre de paramètres, et fait l'objet d'une attention croissante dans la littérature sur le pré-entraînement des LLM récents.