Benchmark de raisonnement mathematique

Définition

Un benchmark de raisonnement mathematique est un jeu d'evaluation standardise qui mesure la capacite d'un modele de langage a resoudre des problemes numeriques et logiques necessitant un enchainement d'etapes de calcul ou de deduction. Les references les plus utilisees incluent GSM8K, compose de problemes d'arithmetique de niveau ecole primaire a college necessitant plusieurs etapes de raisonnement, et MATH, qui couvre des exercices de niveau lycee et concours, plus exigeants en algebre, geometrie et theorie des nombres. Ces benchmarks servent a evaluer si un modele raisonne effectivement ou produit une reponse par pattern-matching statistique sans veritable calcul intermediaire. La technique du chain-of-thought prompting, qui incite le modele a expliciter ses etapes de raisonnement avant de donner la reponse finale, ameliore sensiblement les scores sur ces benchmarks par rapport a une reponse directe. Le score se mesure generalement en pourcentage de bonnes reponses finales, parfois complete par une evaluation de la validite du raisonnement intermediaire, pas seulement du resultat. Pour un cas d'usage professionnel impliquant du calcul (analyse financiere, dimensionnement technique), ce type de benchmark donne une indication de fiabilite, mais reste imparfait : un score eleve ne garantit pas l'absence d'erreurs sur des problemes hors distribution, differents des formats d'entrainement.