Evaluation par preference Elo

Définition

L'evaluation par preference Elo est une methode de classement des modeles de langage adaptee du systeme de notation utilise aux echecs, ou chaque modele possede un score numerique ajuste apres chaque comparaison directe avec un autre modele. Lorsqu'un evaluateur, humain ou automatise, prefere la reponse d'un modele A a celle d'un modele B pour un meme prompt, le score d'A augmente et celui de B diminue, l'ampleur de l'ajustement dependant de l'ecart de score prealable entre les deux (une victoire contre un modele beaucoup plus fort rapporte davantage qu'une victoire attendue). Ce systeme produit un classement continu qui s'affine au fur et a mesure de l'accumulation des comparaisons, sans necessiter d'echelle de notation absolue. La plateforme Chatbot Arena, developpee par LMSYS, popularise cette methode a grande echelle en collectant des dizaines de milliers de votes anonymes d'utilisateurs sur des paires de reponses de modeles varies, produisant un classement regulierement cite comme reference informelle par l'industrie. Les limites de cette approche incluent la sensibilite au volume et a la representativite des votants (souvent des utilisateurs techniques non representatifs du grand public), ainsi que la possibilite de gaming du classement par des styles de reponse plus persuasifs sans gain de qualite reelle. Pour un DSI, un classement Elo constitue un signal complementaire utile mais ne doit pas remplacer une evaluation specifique au cas d'usage envisage.