Fonction d'activation GELU

Définition

La fonction d'activation GELU, pour Gaussian Error Linear Unit, est une fonction non lineaire utilisee dans la plupart des architectures transformeurs, notamment BERT et GPT, pour introduire de la non-linearite entre les couches d'un reseau de neurones. Contrairement a la fonction ReLU, qui coupe brutalement a zero toute valeur negative, GELU pondere chaque entree par la probabilite qu'une variable aleatoire gaussienne standard lui soit inferieure, produisant une transition douce et continue autour de zero plutot qu'un seuil abrupt. Concretement, les valeurs legerement negatives ne sont pas totalement annulees mais attenuees proportionnellement, ce qui permettrait, selon les travaux originaux de Hendrycks et Gimpel, de mieux preserver le flux de gradient et d'ameliorer la convergence sur des taches de traitement du langage naturel comparee a ReLU ou a sa variante ELU. Le calcul exact de GELU implique la fonction d'erreur gaussienne, coute plus cher que ReLU, mais des approximations rapides a base de tangente hyperbolique sont couramment employees en pratique pour limiter le surcout. GELU est devenue la fonction d'activation par defaut dans les blocs feed-forward de nombreux grands modeles de langage, avant d'etre elle-meme concurrencee dans les architectures les plus recentes par des variantes a portes comme SwiGLU, jugees plus performantes a budget de calcul equivalent.