LM-Eval-Harness

Définition

LM-Eval-Harness (ou lm-evaluation-harness) est un framework d'evaluation des LLMs open-source developpe par Eleuther AI. Il standardise l'evaluation sur 200+ benchmarks NLP (ARC, HellaSwag, MMLU, TruthfulQA, GSM8K, HumanEval, etc.) en garantissant des conditions reproductibles : memes prompts, memes tokenisations, meme decoding pour tous les modeles. C'est la reference de facto pour l'evaluation comparative dans la communaute open-source. La valeur de LM-Eval-Harness est la reproductibilite : les scores publiés dans les papers et sur HuggingFace Open LLM Leaderboard sont obtenus avec ce framework, permettant des comparaisons fiables entre modeles. Sans standardisation, de petites differences dans la tokenisation du prompt ou le format de scoring peuvent changer les scores de plusieurs points. Le framework supporte plusieurs modes d'evaluation : few-shot (N exemples dans le prompt), zero-shot, et chain-of-thought. Il calcule le score de plusieurs manieres selon le benchmark : accuracy sur les choix multiples (logprobs des options), exact match pour les reponses courtes, pass@k pour le code, et des metriques specifiques comme BLEU/ROUGE pour la traduction. LM-Eval-Harness supporte les backends d'inference les plus courants : HuggingFace Transformers (local), vLLM (production), OpenAI API, Anthropic API, et tout backend compatible OpenAI. Cela permet d'evaluer aussi bien des modeles open-source locaux que des modeles proprietaires sous API. En pratique, LM-Eval-Harness est l'outil standard pour : comparer vos modeles fine-tunes aux baselines, reproduire les evaluations de papers, preparer une soumission au Open LLM Leaderboard, et monitorer la regression des performances lors de l'itération sur les donnees d'entrainement.