Metrique METEOR

Définition

METEOR (Metric for Evaluation of Translation with Explicit ORdering) est une metrique d'evaluation automatique concue pour corriger certaines limites de BLEU dans l'evaluation de traductions et de textes generes, en integrant une comparaison au niveau des mots qui tolere les synonymes et les variantes morphologiques (formes flechies d'un meme mot), pas seulement les correspondances exactes. Le calcul aligne les mots du texte genere avec ceux de la reference en autorisant des correspondances exactes, des correspondances apres racinisation (stemming), et des correspondances synonymiques via des ressources lexicales comme WordNet, puis combine precision et rappel dans une moyenne harmonique ponderee en faveur du rappel. METEOR ajoute une penalite fondee sur la fragmentation de l'alignement : un texte genere qui correspond a la reference mais dans un ordre tres different des mots est penalise, ce qui capture une notion de fluidite structurelle absente de BLEU. Les etudes de correlation avec le jugement humain montrent generalement que METEOR s'aligne mieux que BLEU au niveau de la phrase individuelle, bien que BLEU reste parfois preferee pour des agregations a l'echelle d'un corpus complet. Son usage a diminue avec l'essor des metriques neuronales comme BERTScore, plus robustes semantiquement, mais METEOR reste presente dans des pipelines d'evaluation combinant plusieurs metriques complementaires. Pour un DSI, aucune de ces metriques lexicales ne remplace une revue humaine sur un echantillon avant un deploiement en production.