Evaluation par correspondance exacte

Définition

L'evaluation par correspondance exacte, ou exact match, est une metrique d'evaluation qui verifie si la reponse generee par un modele correspond mot pour mot, ou apres normalisation minimale (casse, espaces, ponctuation), a une reponse de reference predefinie. C'est la metrique la plus stricte et la plus simple a calculer, generalement appliquee aux taches ou une seule reponse correcte existe sans ambiguite : questions-reponses factuelles courtes, extraction d'entites nommees, resolution de problemes mathematiques dont seul le resultat numerique final est verifie. Le score s'exprime en pourcentage de reponses identiques a la reference sur l'ensemble du jeu de test. L'avantage principal est l'objectivite totale du calcul, reproductible sans intervention humaine ni modele juge, contrairement aux metriques de similarite semantique ou aux evaluations par LLM. L'inconvenient majeur est la rigidite : une reponse correcte mais formulee differemment de la reference (synonyme, reformulation, format legerement different comme une virgule au lieu d'un point decimal) est comptee comme fausse, ce qui sous-estime systematiquement la performance reelle du modele sur des taches de generation ouverte. Cette metrique convient donc mal a l'evaluation de reponses longues ou creatives, ou plusieurs formulations valides coexistent. Pour un DSI, l'exact match reste pertinent pour valider des taches d'extraction structuree en production, mais doit etre complete par d'autres metriques pour toute tache de generation de texte libre.