Routage top-1 MoE

Définition

Le routage top-1 est une strategie d'aiguillage utilisee dans les architectures de melange d'experts, ou chaque token est envoye vers un unique expert, celui dont le score de routage, calcule par un petit reseau apprenant appele gate ou routeur, est le plus eleve parmi l'ensemble des experts disponibles. Cette approche, popularisee par le Switch Transformer de Google en 2021, simplifie fortement l'architecture par rapport a des strategies top-k avec k superieur a un, ou plusieurs experts traitent chaque token et leurs sorties sont combinees par une moyenne ponderee. Le routage top-1 reduit le cout de calcul et de communication entre dispositifs dans un entrainement distribue, puisqu'un seul expert est sollicite par token, ce qui simplifie egalement le sharding du modele sur plusieurs GPU ou TPU. En contrepartie, cette strategie est plus sensible au desequilibre de charge : sans mecanisme de regularisation additionnel, comme une perte auxiliaire d'equilibrage encourageant une repartition homogene des tokens entre experts, certains experts peuvent etre systematiquement sous-utilises tandis que d'autres saturent, degradant la stabilite de l'entrainement et la qualite finale du modele. Le choix entre routage top-1 et top-k superieur represente un arbitrage direct entre simplicite et cout de calcul d'un cote, et robustesse ou qualite de specialisation des experts de l'autre, central dans la conception des architectures MoE modernes.