GSM8K

Définition

GSM8K (Grade School Math 8K) est un dataset de 8 500 problemes de mathematiques de niveau lycee, developpe par Cobbe et al. (OpenAI, 2021). C'est l'un des benchmarks les plus influents pour mesurer les capacites de raisonnement mathematique multi-etapes des LLMs. Les problemes GSM8K sont des problemes textuels necessitant 2 a 8 etapes de calcul. Exemple : 'Jack a 5 pommes. Il en donne 2 a sa soeur et en achete 3 de plus. Combien a-t-il de pommes en tout ?' La solution exige des operations arithmetiques sequentielles et le suivi de l'etat entre les etapes. GSM8K a joue un role fondamental dans le developpement du Chain-of-Thought (CoT) prompting : Wei et al. (2022) ont montre que demander au modele de reflechir etape par etape ameliorait spectaculairement les scores (GPT-3 passait de 17% a 57% avec CoT). Cette decouverte a lance une vague de recherche sur le raisonnement explicite. Les scores GSM8K ont progresse rapidement : GPT-3.5 ~57%, GPT-4 ~92%, LLaMA 3 70B ~93%, puis les modeles de raisonnement comme o1 et DeepSeek-R1 atteignent 99%+. Cette saturation a conduit vers des benchmarks plus difficiles : MATH (niveau concours), AIME, Omni-MATH. Pour les praticiens, GSM8K est utile pour evaluer les capacites de base en raisonnement d'un modele fine-tune. Si un modele perd des points sur GSM8K apres fine-tuning, cela indique un catastrophic forgetting du raisonnement general.