Reranking par modele de langage

Définition

Le reranking par modele de langage est une technique qui utilise un grand modele de langage generatif, plutot qu'un modele de scoring dedie, pour juger et reordonner la pertinence de documents candidats vis-a-vis d'une requete. Le LLM recoit la requete et une liste de passages, puis produit un score, un classement ou une selection en langage naturel, en s'appuyant sur ses capacites de raisonnement contextuel. Cette approche, dite LLM-as-reranker, exploite la comprehension semantique large du modele pour detecter une pertinence que des methodes plus rigides, comme un cross-encodeur specialise, peuvent manquer sur des requetes complexes ou ambigues. Elle permet aussi de fournir une justification textuelle du classement, utile pour l'auditabilite d'un systeme RAG dans un contexte reglemente. La contrepartie principale est le cout et la latence: chaque appel au LLM pour evaluer un lot de documents consomme des tokens et du temps d'inference, ce qui limite son usage a un petit nombre de candidats deja pre-filtres. Des methodes comme RankGPT ou l'utilisation de modeles comme Claude ou GPT en mode juge illustrent cette pratique. Pour un RSSI ou un DSI, le principal risque a maitriser est la stabilite du classement, un LLM pouvant produire des scores legerement variables d'un appel a l'autre sans parametrage de temperature adapte.