MMLU (Massive Multitask Language Understanding)

Définition

MMLU (Massive Multitask Language Understanding) est l'un des benchmarks d'evaluation les plus utilises pour mesurer les connaissances et capacites de raisonnement des LLMs dans 57 domaines academiques distincts. Developpe par Hendrycks et al. (UC Berkeley, 2021), MMLU couvre des sujets allant des mathematiques elementaires a la medecine, du droit aux sciences informatiques, en passant par l'histoire, l'astronomie et la philosophie. MMLU se compose de 15 908 questions a choix multiples (4 options, une seule bonne reponse) issues de differentes disciplines. Les questions sont organisees en 57 sous-categories et concoues pour tester des niveaux de connaissance allant du lycee au niveau professionnel/expert. Exemples : abstract algebra, anatomy, clinical knowledge, computer security, medical genetics, virology. L'evaluation se fait typiquement en few-shot (5-shot) : le modele recoit 5 exemples de questions/reponses dans le domaine avant la question cible. Le score final est le pourcentage de reponses correctes sur l'ensemble des 57 categories. Les scores MMLU sont devenus des indicateurs de reference : GPT-4 ~87%, Claude 3.5 Sonnet ~88%, LLaMA 3 70B ~82%, Mistral Large 2 ~84%, DeepSeek V3 ~88.5%. MMLU a des limites reconnues : contamination potentielle des donnees de test, biais vers l'anglais, questions parfois ambigues. MMLU-Pro (2024) propose une version amelioree avec des questions plus difficiles et 10 options de reponse. Pour les responsables IA en entreprise, MMLU est un bon indicateur des connaissances generales d'un LLM, mais doit etre complete par des evaluations sur le domaine metier specifique.