HellaSwag

Définition

HellaSwag (Harder Endings, Longer contexts, and Low-shot Activities For Situations With Adversarial Generations) est un benchmark de completion de phrase testant le raisonnement de sens commun, developpe par Zellers et al. (2019). Il propose 70K exemples de type : une situation est decrite, et 4 completions sont proposees dont 3 sont plausibles mais incorrectes (generees par un LLM adverse) et 1 est la vraie suite. L'originalite de HellaSwag est sa construction adversariale : les distracteurs (fausses reponses) sont generes par un modele adverse pour etre maximalement plausibles et pieger les LLMs. Exemple : 'Une personne cuisine. Elle met la poele sur le feu et verse de l'huile...' avec comme completions : (A) Elle mange son repas. (B) Elle remue les ingredients avec une spatule. (C) Elle lave la vaisselle. (D) Elle prepare un gateau. La bonne reponse est B, mais A et D sont plausibles. HellaSwag a joue un role important dans l'histoire de l'evaluation des LLMs : quand il a ete publie en 2019, les meilleurs modeles (BERT) atteignaient ~47% (les humains font 95%). Aujourd'hui, les modeles 70B+ depassent 90%, indiquant que HellaSwag est pratiquement sature pour les grands LLMs. Comme ARC-Challenge, HellaSwag est maintenant utilise principalement pour comparer des petits modeles (1-7B params) ou il reste discriminant. Pour les grands modeles, des benchmarks plus difficiles (GPQA, MMLU-Pro, ARC-AGI) ont pris le relais. HellaSwag est disponible dans LM-Eval-Harness (Eleuther AI) et fait partie du benchmark 'Open LLM Leaderboard v1' de HuggingFace, qui inclut aussi ARC-Challenge, MMLU, TruthfulQA, Winogrande et GSM8K pour un profil complet d'un modele 7B.