Evaluation de la coherence factuelle

Définition

L'evaluation de la coherence factuelle verifie qu'un texte genere par un modele de langage, notamment un resume ou une reponse fondee sur un document source, ne contredit pas et ne deforme pas les informations de ce document, independamment de la verite absolue du contenu source. Cette distinction est importante : un resume peut etre factuellement coherent avec son document source tout en reprenant une erreur presente dans ce document, la coherence factuelle mesurant la fidelite a la source, pas l'exactitude objective de la source elle-meme. Les methodes d'evaluation incluent des approches par implication textuelle (natural language inference), ou un modele classificateur juge si chaque affirmation du texte genere est impliquee logiquement par, contredite par, ou neutre par rapport au document source. D'autres approches decomposent le texte genere en questions-reponses verifiables, generant des questions a partir des affirmations du resume puis verifiant que les reponses obtenues a partir du document source concordent, technique connue sous le nom de QAG (Question Answering and Generation). Cette metrique est centrale pour l'evaluation des systemes RAG (Retrieval-Augmented Generation) en entreprise, ou l'enjeu principal n'est pas la creativite du modele mais sa fidelite stricte aux documents internes fournis en contexte. Pour un DSI deployant un assistant documentaire interne, un score de coherence factuelle bas signale un risque direct de desinformation des collaborateurs a partir de sources pourtant correctement fournies au modele.