AlpacaEval

Définition

AlpacaEval est un benchmark automatique d'evaluation des assistants LLMs developpe par Dubois et al. (Stanford, 2023), utilisant GPT-4 comme juge pour comparer les reponses de n'importe quel modele a celles d'un modele de reference (initialement text-davinci-003, puis GPT-4 Turbo dans AlpacaEval 2.0). Le score principal est le 'win rate' : pourcentage de fois ou le modele evalue est prefere a la reference. Le dataset AlpacaEval se compose de 805 instructions open-ended couvrant diverse categories : coding, brainstorming, classification, closed QA, generation, information extraction, math, open QA, summarization, writing. Ces instructions sont issues de self-instruct, Anthropic HH, Stanford Alpaca et d'autres sources. AlpacaEval 2.0 LC (Length-Controlled) est l'amelioration cle qui corrige le principal biais du benchmark original : les LLMs tendaient a produire des reponses plus longues pour etre preferes par GPT-4 (qui a lui-meme un biais vers les reponses plus completes). LC-AlpacaEval controle statistiquement la longueur des reponses lors du calcul du win rate, donnant un signal plus fidele de la qualite. Les scores AlpacaEval 2.0 LC en 2025 : Claude 3.5 Sonnet ~65%, GPT-4o ~63%, LLaMA 3.1 70B Instruct ~57%, Mistral Large 2 ~52%. Ces scores relativement rapproches au sommet illustrent la convergence des capacites des meilleurs modeles actuels. AlpacaEval presente des limitations connues : les 805 instructions sont fixes (risque de contamination si les modeles les ont vus lors de l'entrainement), GPT-4 comme juge a ses propres biais (vers ses propres patterns de reponse), et le benchmark ne couvre pas les capacites de raisonnement difficile (maths, code complexe) qui sont evaluees par d'autres benchmarks.