Reseau de Kolmogorov-Arnold KAN

Définition

Un reseau de Kolmogorov-Arnold, ou KAN (Kolmogorov-Arnold Network), est une architecture de reseau de neurones alternative aux perceptrons multicouches classiques, inspiree du theoreme de representation de Kolmogorov-Arnold, qui etablit que toute fonction continue multivariee peut se decomposer en une somme de fonctions continues univariees. Contrairement a un perceptron multicouche, ou les poids sont des scalaires fixes places sur les arcs entre neurones et les fonctions d'activation, comme ReLU ou GELU, sont fixees et placees sur les neurones, un KAN inverse cette logique : les fonctions d'activation elles-memes sont apprenables et placees sur les arcs, generalement parametrees par des splines, tandis que les noeuds se contentent de sommer les signaux entrants. Proposee en 2024 par une equipe du MIT, cette architecture a suscite un interet marque pour sa capacite potentielle a offrir une meilleure interpretabilite, les fonctions apprises sur chaque arc etant visualisables individuellement, et une meilleure efficacite en nombre de parametres sur certaines taches scientifiques et d'approximation de fonctions. Les KAN restent toutefois, a ce stade, beaucoup moins matures que les transformeurs pour le passage a l'echelle sur des taches de traitement du langage ou de vision, et leur cout de calcul par parametre est generalement plus eleve. Ils constituent un axe de recherche actif plutot qu'une solution de production etablie.