Universal Approximation Theorem

Définition

Le Theoreme d'Approximation Universelle (Universal Approximation Theorem) est un resultat fondamental de la theorie des reseaux de neurones, enonce par Cybenko (1989) et etendu par Hornik et al. (1991), qui stipule qu'un reseau de neurones feedforward avec au moins une couche cachee de largeur suffisante et une fonction d'activation non-lineaire appropriee peut approximer n'importe quelle fonction continue sur un domaine compact avec une precision arbitraire. Formellement : pour tout epsilon > 0 et toute fonction continue f sur un compact K de R^n, il existe un reseau de neurones N(x) avec une couche cachee de largeur m suffisante tel que |f(x) - N(x)| < epsilon pour tout x dans K. La precision est atteinte en augmentant la largeur m (nombre de neurones cachés) ou en empilant des couches (profondeur). Les implications pour le deep learning : le theoreme demontre theroriquement qu'un reseau de neurones assez grand peut representer n'importe quelle fonction, justifiant leur utilisation pour des taches arbitrairement complexes. Cependant, le theoreme est d'existence (il garantit qu'un tel reseau existe) mais pas de construction (il ne dit pas comment l'entrainer). Les extensions importantes : le theoreme s'applique avec differentes fonctions d'activation (sigmoids, ReLU, tanh, GELU). Pour les reseaux profonds (deep), un reseau avec d couches peut representer des fonctions plus efficacement (moins de neurones par couche) que des reseaux peu profonds equivalents, ce qui justifie theroriquement la superiorite empirique du deep learning sur les reseaux peu profonds larges. Limitations du theoreme : (1) il garantit l'existence mais pas la facilite de l'apprentissage (le gradient descent peut converger vers des minima locaux pauvres), (2) la largeur necessaire peut etre exponentiellement grande en pratique, (3) il ne garantit pas la generalisation (un reseau peut memoriser le training set sans generaliser). Ces limitations expliquent pourquoi l'entrainement pratique est plus subtil que la theorie ne le suggere.