BIG-Bench

Définition

BIG-Bench (Beyond the Imitation Game Benchmark) est une suite de benchmarks collaboratifs publiee par Srivastava et al. (2022) avec plus de 450 auteurs de 132 institutions, comprenant 204 taches conçues pour tester des capacites emergentes et etonnantes des LLMs. L'objectif est d'aller au-dela des benchmarks traditionnels pour mesurer ce que les LLMs peuvent faire dans des domaines varies et inattendus. Les 204 taches BIG-Bench couvrent : raisonnement logique, arithmetique, multilingual (200+ langues), code, sciences, ethique, generation de poesie, jeux de mots, musique, physique naïve, theorie de l'esprit, et des taches specifiques comme 'detecter les syllogismes valides' ou 'expliquer l'humour'. Cette diversite unique permet d'evaluer les LLMs sous des angles impossibles avec les benchmarks classiques. BIG-Bench Hard (BBH) est un subset de 23 taches particulierement difficiles sur lesquelles les modeles de 2022 etaient mauvais (< 50%). Ce subset est devenu un benchmark standard pour evaluer les capacites de raisonnement avance : raisonnement causal, deduction logique multi-etapes, arithmetique de date/calendrier, et interpretation de code. Les resultats BIG-Bench ont mis en evidence le phenomene d'emergence : certaines capacites n'apparaissent qu'au-dela d'un seuil de taille de modele, passant soudainement de negligeable a substantielle. Ces 'emergent abilities' ont alimente le debat sur la nature du scaling des LLMs. En 2025, la plupart des modeles frontieres (GPT-4, Claude 3.5, Gemini 1.5) saturent de nombreuses taches BIG-Bench. Des versions plus difficiles (BIG-Bench Extra Hard) sont en developpement. BIG-Bench reste precieux comme reference historique de la progression des capacites LLMs.