Evaluation de la pertinence de recuperation

Définition

L'evaluation de la pertinence de recuperation est le processus qui mesure la capacite d'un systeme de recherche, notamment le composant de recuperation d'une architecture RAG, a retrouver les documents effectivement utiles pour repondre a une requete donnee, independamment de la qualite de la generation textuelle en aval. Cette evaluation s'appuie sur des jeux de donnees annotes ou chaque requete est associee a un ensemble de documents pertinents connus, appeles ground truth, permettant de calculer des metriques standardisees comme le rappel a k, la precision moyenne ou le NDCG. Elle peut etre realisee de facon automatisee, en comparant les documents recuperes aux references annotees, ou assistee par un modele de langage jouant le role de juge pour evaluer la pertinence semantique lorsque l'annotation manuelle exhaustive n'est pas disponible, approche connue sous le nom de RAGAS ou de LLM-as-judge appliquee a la recuperation. Cette etape est essentielle car une generation de mauvaise qualite dans un systeme RAG provient tres souvent d'une recuperation defaillante en amont plutot que d'une limitation du modele de langage lui-meme. Pour un DSI pilotant un projet RAG en production, mettre en place une evaluation continue de la pertinence de recuperation permet de detecter une derive de performance liee a l'evolution du corpus documentaire ou des requetes utilisateurs, avant qu'elle n'impacte visiblement les utilisateurs finaux.