Benchmark de connaissances generales MMLU

Définition

MMLU (Massive Multitask Language Understanding) est un benchmark qui evalue les connaissances generales et le raisonnement d'un modele de langage a travers 57 matieres couvrant les sciences, les sciences humaines, le droit, la medecine et les mathematiques, a des niveaux allant du lycee au niveau professionnel expert. Le format est constitue de questions a choix multiples, chacune avec quatre options de reponse, generalement evaluees en zero-shot ou few-shot, c'est-a-dire sans exemple ou avec quelques exemples fournis dans le prompt. Le score global correspond au pourcentage de bonnes reponses agregees sur l'ensemble des matieres, mais des scores par domaine permettent d'identifier des forces et faiblesses specifiques d'un modele. MMLU est devenu une reference standard citee dans la quasi-totalite des annonces de nouveaux modeles depuis son introduction, au point que certains chercheurs pointent un risque de contamination des donnees d'entrainement par des questions du benchmark lui-meme, biaisant artificiellement les scores a la hausse. Une version amelioree, MMLU-Pro, introduit dix options de reponse au lieu de quatre et des questions plus discriminantes pour reduire l'effet de plafonnement observe sur les modeles les plus performants. Pour un DSI comparant des modeles fondation, MMLU reste un indicateur utile de culture generale mais insuffisant seul pour juger de la pertinence sur un cas d'usage metier specifique.