Melange d'experts creux

Définition

Le melange d'experts creux, ou sparse Mixture of Experts (MoE), est une architecture de reseau de neurones dans laquelle chaque couche feed-forward est remplacee par un ensemble de sous-reseaux specialises, appeles experts, dont seul un sous-ensemble restreint est active pour chaque token traite, via un mecanisme de routage appris. Cette activation partielle, ou sparsite, permet d'augmenter considerablement le nombre total de parametres d'un modele, parfois plusieurs centaines de milliards, sans augmenter proportionnellement le cout de calcul par token, puisque seule une fraction des experts, typiquement deux sur huit ou plus, est mobilisee a chaque passage. Des modeles comme Mixtral, GPT-4 selon des analyses publiques non confirmees officiellement, ou Switch Transformer de Google illustrent cette approche. Le principal benefice est un decouplage entre capacite du modele, liee au nombre total de parametres, et cout d'inference, lie au nombre de parametres actifs, ce qui ameliore le ratio performance sur cout compare a un modele dense de meme capacite. Les defis operationnels incluent l'equilibrage de charge entre experts pour eviter qu'un sous-ensemble ne soit sureprensente pendant l'entrainement, la complexite de deploiement distribue sur plusieurs GPU, et une empreinte memoire totale qui reste elevee meme si le calcul par token est reduit, l'ensemble des experts devant rester charge en memoire.