Evaluation humaine par paires

Définition

L'evaluation humaine par paires est une methode de jugement de qualite ou des evaluateurs comparent deux reponses generees pour un meme prompt, issues de deux modeles ou versions differentes, et indiquent laquelle est preferable selon des criteres definis (utilite, exactitude, ton, exhaustivite). Contrairement a une notation absolue sur une echelle, ou differents evaluateurs calibrent differemment leur echelle personnelle, le jugement comparatif est cognitivement plus simple et produit des resultats plus reproductibles entre evaluateurs. Les comparaisons collectees a grande echelle alimentent generalement un classement calcule via un systeme de score Elo ou Bradley-Terry, similaire au systeme utilise aux echecs, ou chaque victoire dans une comparaison ajuste le score des deux modeles impliques. La plateforme Chatbot Arena, qui recueille des votes d'utilisateurs reels sur des comparaisons anonymes entre modeles, illustre cette approche a grande echelle et sert de reference informelle largement suivie par l'industrie. L'evaluation humaine par paires reste couteuse en temps et en ressources compare a une evaluation automatisee, ce qui limite generalement son usage a des echantillons restreints ou a des campagnes ponctuelles avant le choix d'un modele fournisseur. Elle capture des dimensions qualitatives difficiles a automatiser, comme la naturalite du ton ou la pertinence contextuelle fine, mais reste sujette a des biais d'evaluateur, notamment une preference pour les reponses plus longues ou mieux formatees independamment de leur exactitude.