MATH (Benchmark)

Définition

MATH est un benchmark de mathematiques avancees publie par Hendrycks et al. (2021) comprenant 12500 problemes de niveau lycee a olympiade issus de competitions de maths (AMC, AIME, etc.). Il couvre 7 categories : algebra, intermediate algebra, counting & probability, geometry, number theory, precalculus et prealgebra, avec 5 niveaux de difficulte. MATH a ete conçu pour tester les capacites de raisonnement mathematique avance des LLMs, un domaine ou les modeles de l'epoque (2021) echouaient massivment. GPT-3 obtenait ~5% en 2021, ce qui semblait plafond ; aujourd'hui GPT-4o obtient ~76%, o1 ~94%, et o3 ~96%. Cette progression illustre l'impact du Chain-of-Thought et du Test-Time Compute. La difference entre MATH et GSM8K : GSM8K (grade school math) contient des problemes arithmetiques scolaires que les LLMs modernes resolvent a >95%. MATH contient des problemes de niveau competition qui necessitent un raisonnement profond en algebre, trigonometrie, combinatoire et theorie des nombres. MATH reste discriminant pour les meilleurs modeles. MATH est aussi utilise pour evaluer les Process Reward Models : PRM800K (OpenAI) est un dataset de 800K etapes de solutions MATH annotees avec des labels correct/incorrect, permettant d'entrainer des PRMs qui evaluent la qualite du raisonnement mathematique etape par etape. Pour les entreprises ayant des cas d'usage de calcul ou d'analyse quantitative (finance, ingenierie, sciences), le score MATH est un indicateur pertinent de la fiabilite du LLM pour le raisonnement numerique et algebrique complexe.