Fonction d'activation SwiGLU

Définition

La fonction d'activation SwiGLU est une fonction non lineaire a portes, combinaison de la fonction Swish et d'une unite lineaire a portes, GLU, utilisee dans les blocs feed-forward des transformeurs les plus recents, dont Llama et PaLM. Contrairement a une fonction d'activation classique appliquee element par element, SwiGLU divise la projection lineaire d'entree en deux parties : l'une passe par une fonction Swish, l'autre reste lineaire, puis les deux sont multipliees terme a terme. Ce mecanisme de porte permet au reseau de moduler dynamiquement quelle information laisser passer, de maniere apprise, ce qui ameliore l'expressivite du bloc feed-forward par rapport a des activations simples comme ReLU ou GELU. Les travaux de Noam Shazeer ayant introduit cette famille de fonctions ont montre des gains de performance mesurables sur des taches de modelisation du langage, a budget de calcul comparable, bien que l'origine precise de ces gains reste partiellement empirique plutot que theoriquement expliquee. L'usage de SwiGLU implique generalement d'ajuster la dimension cachee du bloc feed-forward, souvent reduite d'un facteur d'environ deux tiers par rapport a une architecture standard, pour compenser le parametre supplementaire introduit par le mecanisme de porte et maintenir un nombre total de parametres comparable. Elle est aujourd'hui un choix frequent dans les architectures de LLM optimisees pour la performance.