Grille d'evaluation rubrique

Définition

Une grille d'evaluation rubrique, ou rubric evaluation, est un protocole de notation qui decompose l'evaluation d'une reponse generee par un modele en une liste de criteres explicites et verifiables individuellement, plutot qu'un jugement global unique. Chaque critere de la grille correspond a une exigence precise attendue de la reponse ideale : par exemple, pour une tache de redaction d'email professionnel, la grille pourrait verifier la presence d'une formule d'appel adaptee, l'exactitude d'une information chiffree citee, l'absence de ton inapproprie, et le respect d'une limite de longueur. Chaque critere recoit une note binaire ou graduee, et le score final agrege ces sous-scores, parfois avec des ponderations differentes selon l'importance relative de chaque critere. Cette approche, popularisee notamment dans les evaluations de modeles de raisonnement complexes ou de tests de conformite reglementaire, ameliore sensiblement la reproductibilite par rapport a un jugement holistique, en particulier lorsque l'evaluation est realisee par un modele juge (LLM-as-a-judge) : decomposer le jugement en verifications atomiques reduit les erreurs d'appreciation globale du modele evaluateur. La construction d'une grille d'evaluation rubrique de qualite necessite une expertise du domaine metier concerne, car des criteres mal specifies ou incomplets biaisent systematiquement le score final. Pour un DSI evaluant un cas d'usage specifique, cette methode offre une tracabilite superieure a un score agrege opaque.