Benchmark de tenue de conversation

Définition

Un benchmark de tenue de conversation est un protocole d'evaluation qui mesure la capacite d'un modele de langage a maintenir une interaction coherente sur plusieurs tours d'echange, en preservant le contexte, la personnalite assignee et la pertinence des reponses. Contrairement aux benchmarks a question unique, ces evaluations testent la memoire conversationnelle sur des dialogues longs, la gestion des references anaphoriques (comprendre a quoi renvoie un pronom evoque plusieurs tours plus tot), et la resistance a la derive thematique. Des jeux de donnees comme MT-Bench evaluent specifiquement les capacites multi-tours en notant les reponses via un modele juge (LLM-as-a-judge) sur des criteres de coherence, d'utilite et de suivi d'instructions. D'autres approches mesurent la consistance factuelle : le modele doit-il contredire une information qu'il a lui-meme fournie plus tot dans l'echange. Pour les cas d'usage d'agents conversationnels en entreprise, comme les chatbots de support client, ce type de benchmark est plus representatif de l'usage reel qu'une evaluation a tour unique. Les limites principales tiennent au cout de generation des dialogues de test et a la subjectivite residuelle du jugement automatique, meme corrige par des grilles d'evaluation detaillees. Un DSI evaluant un fournisseur de chatbot devrait exiger ce type de mesure plutot qu'un score generaliste isole.