Metrique ROUGE

Définition

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) est une famille de metriques d'evaluation automatique utilisee principalement pour juger la qualite de resumes generes par un modele, en mesurant le chevauchement d'unites textuelles entre le texte genere et un ou plusieurs resumes de reference ecrits par des humains. ROUGE-N mesure le chevauchement de sequences de N mots consecutifs (n-grammes), ROUGE-1 comparant les mots isoles et ROUGE-2 les paires de mots consecutifs. ROUGE-L s'appuie sur la plus longue sous-sequence commune entre les deux textes, capturant une notion de similarite structurelle sans exiger une contiguïte stricte des mots. Contrairement a BLEU, historiquement oriente vers l'evaluation de la traduction automatique et privilegiant la precision, ROUGE privilegie le rappel : il mesure la proportion du contenu de la reference retrouvee dans le texte genere, ce qui correspond mieux a l'objectif d'un resume, cense capturer l'essentiel de l'information source. ROUGE reste tres utilise pour sa simplicite de calcul et sa reproductibilite totale, mais partage les limites des metriques lexicales : il ne detecte pas les reformulations synonymiques et peut favoriser des resumes qui recopient litteralement des passages du texte source plutot que de veritablement les condenser. Pour un DSI evaluant un outil de synthese documentaire automatique, ROUGE fournit un signal rapide mais insuffisant seul ; une revue humaine ou une metrique semantique comme BERTScore reste necessaire pour juger la qualite reelle de synthese.