ELO Rating dans les LLMs

Définition

Le systeme ELO Rating, adapte des echecs pour le classement des LLMs, est utilise dans les 'chatbot arenas' ou des evaluateurs humains comparent les reponses de deux LLMs anonymes et votent pour le meilleur. Le score ELO de chaque modele est mis a jour dynamiquement selon les resultats des matchs : battre un modele de score eleve augmente beaucoup le score, battre un modele de score faible l'augmente peu. LMSYS Chatbot Arena (LMSYS, Berkeley, 2023) est la principale plateforme de classement ELO pour les LLMs, avec plus de 2 millions de votes humains collectes depuis 2023. Les utilisateurs soumettent des questions, recoivent des reponses de deux LLMs anonymes, et votent pour le meilleur (ou 'tie' si equivalent). Ce format elimine les biais de contamination des benchmarks car les questions sont libres. Le score ELO est calcule avec la formule de Elo : E_a = 1 / (1 + 10^((R_b - R_a)/400)), ou R_a et R_b sont les scores actuels. Si le modele A gagne, son nouveau score est R_a + K*(1 - E_a) avec K facteur d'ajustement. Un K de 4 est typiquement utilise pour les grands volumes de matchs LLM. Les avantages du classement ELO : capture les preferences humaines reelles sur des questions variees (pas seulement les benchmarks standardises), resistant a la contamination des donnees d'entrainement, et reflète la qualite perçue plutot que la precision formelle. Les inconvenients : couteux en temps humain, sensible au biais de la population evaluatrice. Les scores ELO en 2025 montrent Claude 3.5 Opus, GPT-4o et Gemini 1.5 Ultra au sommet avec des scores de 1350-1400 ELO. Les modeles open-source comme LLaMA 3.1 70B et Mistral Large 2 atteignent 1200-1250, et les modeles 7B se situent entre 1050-1150.