GPQA Diamond

Définition

GPQA (Graduate-Level Google-Proof Q&A) Diamond est un benchmark d'evaluation des LLMs cree par Rein et al. (2023) pour tester les capacites de raisonnement de niveau doctorat dans des domaines scientifiques tres specialises (biologie moleculaire, chimie quantique, physique des particules). La caracteristique unique de GPQA est que les questions sont 'Google-proof' : meme en cherchant sur le web, des non-experts obtiennent ~50% de precision (equivalent hasard sur 4 options), tandis que des experts du domaine atteignent ~65-70%. GPQA Diamond est le sous-ensemble le plus difficile de GPQA (198 questions), selectionnees pour leur difficulte et leur resistance a la contamination. Les questions sont creees par des experts avec doctorat et verifiees par d'autres experts. Elles testent non pas la memorisation de faits mais le raisonnement sur des concepts avances et des calculs complexes. Les scores GPQA Diamond sont devenus un indicateur de reference pour les modeles les plus avances : GPT-4 ~39%, Claude 3.5 Sonnet ~59%, o1 ~78%, o3 ~88%, DeepSeek-R1 ~71%. Cette progression rapide illustre l'efficacite du inference-time scaling pour les taches necessitant un raisonnement profond. GPQA Diamond est particulierement precieux comme benchmark car sa resistance a la contamination (les questions etant rarement disponibles publiquement) et sa difficulte (meme les experts humains ne font pas 100%) en font un signal fiable de la progression reelle des capacites de raisonnement des LLMs. Pour les equipes qui selectionnent des LLMs pour des applications professionnelles necessitant un raisonnement expert (analyse juridique, diagnostic medical, recherche scientifique), le score GPQA Diamond est un indicateur pertinent des capacites d'analyse a haut niveau de complexite.