Filtrage de contenu toxique dans les données (Toxicity Filtering)

Définition

Le filtrage de contenu toxique dans les données est un traitement appliqué aux corpus d'entraînement pour retirer ou déclasser les textes contenant des propos haineux, violents, discriminatoires ou sexuellement explicites, avant qu'ils n'influencent le comportement d'un modèle de langage. Il repose généralement sur des classifieurs entraînés spécifiquement, comme Perspective API ou des modèles de modération internes, qui attribuent un score de toxicité à chaque document et permettent d'exclure ou de sous-pondérer les passages dépassant un seuil défini. Certaines approches conservent une petite proportion de contenu toxique étiqueté, afin que le modèle apprenne à le reconnaître et à le refuser, plutôt que de l'ignorer totalement. Ce filtrage s'inscrit dans une chaîne plus large de gouvernance des données, aux côtés du filtrage de contenu illégal, comme les représentations d'abus sur mineurs, qui fait l'objet d'une tolérance zéro et d'outils dédiés type PhotoDNA pour les données multimodales. Le filtrage de toxicité réduit la probabilité que le modèle génère spontanément du contenu problématique, mais ne remplace pas les garde-fous appliqués en aval, comme le RLHF ou les filtres de sortie. L'AI Act européen impose une gouvernance documentée des données d'entraînement pour les modèles à usage général, incluant les mesures de filtrage des contenus illicites ou biaisés recensées.