Overfitting / Surapprentissage

Définition

L'overfitting, ou surapprentissage, est un problème classique d'apprentissage automatique survenant lorsqu'un modèle apprend de manière excessivement précise les caractéristiques spécifiques de son jeu de données d'entraînement, incluant son bruit statistique et ses particularités propres non représentatives de la distribution générale sous-jacente, au détriment de sa capacité effective à généraliser correctement son comportement sur de nouvelles données jamais rencontrées durant l'entraînement. Un modèle en situation d'overfitting présente une signature diagnostique caractéristique et facilement identifiable : une erreur mesurée sur le jeu de données d'entraînement particulièrement faible, témoignant d'une mémorisation quasi parfaite de ces exemples précis, associée à une erreur nettement plus élevée mesurée sur un jeu de données de validation ou de test distinct, révélant l'incapacité du modèle à appliquer les régularités apprises à des situations réellement nouvelles. Les causes principales identifiées incluent un modèle disposant d'une capacité représentationnelle excessive relativement au volume de données d'entraînement réellement disponible, un entraînement poursuivi sur un nombre d'itérations excessif au-delà du point optimal, et un jeu de données d'entraînement insuffisamment volumineux ou peu diversifié. Les techniques de régularisation, comme le dropout, la pénalisation des poids ou l'arrêt anticipé de l'entraînement (early stopping), ainsi que l'augmentation du volume et de la diversité des données, constituent les remèdes classiques à ce phénomène.