Parallélisme d'experts (Expert Parallelism)

Définition

Le parallélisme d'experts, ou Expert Parallelism, est une méthode de distribution utilisée pour les architectures Mixture of Experts (MoE), dans lesquelles un modèle est composé de plusieurs sous-réseaux spécialisés appelés experts, activés sélectivement par un routeur pour chaque token. Le parallélisme d'experts consiste à répartir ces experts sur différents accélérateurs, chaque GPU hébergeant un ou plusieurs experts plutôt qu'une copie complète du modèle. Un mécanisme de routage envoie chaque token vers les GPU hébergeant les experts sélectionnés, via des opérations de communication de type all-to-all, puis récupère les résultats. Cette approche permet d'augmenter fortement le nombre total de paramètres d'un modèle, comme dans Mixtral ou certains modèles GPT propriétaires, sans augmenter proportionnellement le coût de calcul par token, puisque seule une fraction des experts est activée à chaque passe. Les défis opérationnels incluent le déséquilibre de charge entre experts, certains étant sollicités plus que d'autres, et le surcoût de communication réseau lié aux échanges all-to-all entre nœuds. Le parallélisme d'experts se combine généralement avec le parallélisme de données et le parallélisme tensoriel dans les infrastructures d'entraînement à grande échelle. Pour un DSI évaluant des modèles MoE, cette architecture change le profil de coût d'inférence par rapport à un modèle dense classique.