LLM-as-a-Judge

Définition

LLM-as-a-Judge (LLM comme juge) est la methodologie d'evaluation qui utilise un LLM puissant (typiquement GPT-4o ou Claude 3.5 Sonnet) pour noter la qualite des reponses d'un modele cible, remplacant ou complementant les annotations humaines couteuses. Zheng et al. (LMSYS, 2023) ont popularise cette approche avec MT-Bench, montrant que GPT-4 comme juge correlait bien avec les preferences humaines. Les modes d'evaluation LLM-as-a-Judge : (1) Absolute scoring — le juge attribue un score de 1 a 10 avec justification pour chaque reponse, (2) Pairwise comparison — le juge compare deux reponses (A vs B) et choisit la meilleure, (3) Reference-guided — le juge compare la reponse du modele a une reponse de reference ideale, (4) Criteria-specific — le juge evalue selon des criteres explicites (exactitude, coherence, securite, style). Les biais connus du LLM-as-a-Judge : (1) Biais de position — les juges LLM preferent souvent la premiere reponse dans les comparaisons par paires (contrebalancer en inversant A/B), (2) Biais de longueur — preference pour les reponses plus longues meme si elles ne sont pas meilleures, (3) Biais de style — preference pour un certain style d'ecriture (structure avec puces, etc.), (4) Self-enhancement bias — GPT-4 prefere les reponses stylisees comme GPT-4. Les bonnes pratiques pour reduire les biais : prompts de jugement tres structures avec des rubriques explicites, demander la justification avant le score (chain-of-thought judging), utiliser plusieurs juges LLM differents et aggreger, comparer A vs B et B vs A et moyenner les resultats. L'utilisation en production : LLM-as-a-Judge est maintenant integre dans de nombreux frameworks d'evaluation (Eleuther Eval Harness, Promptfoo, DeepEval). Il permet d'evaluer des milliers de cas en quelques heures au lieu de semaines avec des annotateurs humains, facilitant l'iteration rapide sur les prompts et les modeles. Le cout est typiquement $1-10 pour evaluer 1000 paires sur GPT-4o-mini.