Benchmark de raisonnement de sens commun

Définition

Un benchmark de raisonnement de sens commun est un jeu d'evaluation qui mesure la capacite d'un modele de langage a mobiliser des connaissances implicites sur le monde physique et social, du type que tout humain acquiert naturellement mais qui n'est pas toujours explicite dans un texte. Ces evaluations testent, par exemple, la comprehension de causalites physiques evidentes (un objet lache tombe), de conventions sociales, ou de la suite logique la plus plausible d'une situation decrite. Des references comme HellaSwag demandent au modele de choisir, parmi plusieurs suites possibles a une phrase decrivant une situation quotidienne, celle qui est la plus vraisemblable, en incluant des distracteurs generes automatiquement et volontairement trompeurs pour un systeme qui se contenterait de correlations statistiques superficielles. WinoGrande, base sur le principe des schemas de Winograd, teste specifiquement la resolution d'ambiguites referentielles dans des phrases ou le sens depend du contexte de sens commun plutot que de la seule syntaxe. Ces benchmarks ont historiquement ete plus discriminants que des tests de connaissances factuelles, car ils resistent mieux au simple par-coeur de donnees d'entrainement. Les modeles recents obtiennent des scores tres eleves sur ces references historiques, ce qui a pousse la recherche vers des variantes adversariales plus difficiles. Pour un usage professionnel, ce type de benchmark renseigne sur la robustesse du modele face a des enonces ambigus ou incompletement specifies, frequents dans les requetes utilisateur reelles.