Evaluation par similarite semantique BERTScore

Définition

BERTScore mesure la similarite semantique entre un texte genere par un modele et un texte de reference, en comparant leurs vecteurs contextuels produits par un modele de type BERT, plutot qu'en comptant les mots identiques comme BLEU ou ROUGE. Concretement, chaque mot du texte genere et chaque mot du texte de reference sont encodes en vecteurs contextuels, puis un algorithme d'appariement optimal calcule la similarite cosinus entre les mots les plus proches semantiquement, produisant des scores de precision, de rappel et un F1 agrege. Cette approche capture les synonymes et les reformulations qu'une comparaison lexicale stricte manquerait : une phrase paraphrasee avec un vocabulaire different mais un sens equivalent obtient un score eleve, contrairement a BLEU qui penaliserait fortement l'absence de chevauchement de mots exacts. BERTScore est frequemment utilise pour evaluer des taches de resume automatique, de traduction et de generation de texte ouverte, ou la diversite legitime de formulations rend les metriques de chevauchement lexical peu fiables. Ses limites incluent une dependance a la qualite et au domaine d'entrainement du modele d'encodage sous-jacent, et un cout de calcul superieur aux metriques lexicales classiques. Pour un DSI evaluant un systeme de generation de texte, BERTScore offre un compromis pertinent entre rapidite de calcul automatique et sensibilite semantique, sans atteindre la finesse d'un jugement humain ou d'un modele juge.