Score de factualite

Définition

Le score de factualite est une metrique d'evaluation qui mesure la proportion d'affirmations verifiables contenues dans un texte genere par un modele de langage qui sont effectivement exactes au regard d'une source de verite externe, comme une base de connaissances, un document source ou une recherche web. La methodologie type decompose le texte genere en affirmations atomiques individuelles, chacune verifiee independamment plutot que le texte juge dans son ensemble, ce qui permet d'identifier precisement quelles portions d'une reponse contiennent des erreurs plutot que de porter un jugement binaire global. Cette verification peut etre realisee par recherche documentaire automatisee, par comparaison avec un corpus de reference dans le cas de taches d'ancrage (grounding) sur un document source, ou par un modele juge specifiquement instruit pour cette tache de fact-checking. Le score final s'exprime generalement comme le pourcentage d'affirmations verifiees correctes sur le total des affirmations verifiables extraites, les affirmations d'opinion ou non verifiables etant exclues du calcul. Ce type de metrique est central pour les applications a fort enjeu de fiabilite : synthese d'actualites, assistance juridique, support medical, ou tout systeme RAG (Retrieval-Augmented Generation) cense s'appuyer sur des documents sources verifiables. Pour un RSSI ou un DPO, un score de factualite documente constitue un element de preuve de diligence dans le cadre d'une analyse de risque avant deploiement d'un systeme IA generatif face a des utilisateurs finaux.