Mixture of Experts (MoE)

Définition

L'architecture Mixture of Experts (MoE) est une approche de mise à l'échelle des réseaux de neurones où le modèle est divisé en nombreux sous-réseaux spécialisés (experts), dont seule une fraction est activée pour chaque token via un réseau de routage (gating network). Cette activation sparse permet de créer des modèles aux capacités d'un modèle dense très large tout en maintenant un coût d'inférence comparable à un modèle bien plus petit. Mixtral 8x7B (8 experts, 2 activés par token) démontre des performances surpassant LLaMA 2 70B avec un coût d'inférence proche de LLaMA 7B. GPT-4, Gemini 1.5 et Grok-1 utilisent des variantes MoE. Les défis incluent le load balancing entre experts (eviter l'effondrement vers un seul expert), la latence réseau en déploiement distribué, et la complexité accrue de l'inférence. En termes de sécurité, le routage MoE peut être exploité pour des attaques d'extraction de modèle ciblant des experts spécialisés.