Reward Model

Définition

Le Reward Model (modèle de récompense, RM) est un composant central du pipeline RLHF (Reinforcement Learning from Human Feedback), entraîné à prédire une valeur scalaire reflétant la qualité d'une réponse de LLM selon les préférences humaines. Il sert d'oracle de qualité pour guider l'optimisation PPO du modèle principal sans nécessiter des annotations humaines à chaque étape d'entraînement. Le Reward Model est entraîné sur des paires de comparaisons : des annotateurs humains évaluent deux réponses générées pour le même prompt et indiquent leur préférence. Le RM apprend à assigner des scores plus élevés aux réponses préférées via la Bradley-Terry loss : L = -E[log σ(r(x, y_w) - r(x, y_l))], où r(x,y) est le score prédit. Architecturalement, le RM est souvent initialisé depuis le SFT model, avec la tête de prédiction de token remplacée par une couche linéaire produisant un scalaire. InstructGPT (OpenAI, 2022) a popularisé ce pipeline en trois étapes : SFT → RM → PPO. Le RM entraîné sur ~30K comparaisons humaines permet ensuite d'évaluer des millions de réponses générées pendant l'optimisation PPO, agissant comme proxy des préférences humaines à l'échelle. Les défis du Reward Model sont bien documentés : reward hacking (le LLM apprend à maximiser le score RM sans réellement satisfaire les préférences humaines), distribution shift (le RM est entraîné sur des réponses du SFT model, pas du modèle amélioré par PPO), et le biais du RM vers les réponses verboses. Ces problèmes ont motivé le développement de DPO, RLAIF et des Process Reward Models. Les PRM (Process Reward Models) évaluent chaque étape de raisonnement intermédiaire plutôt que la réponse finale uniquement — approche utilisée par DeepSeek-R1 et les modèles o1-style pour améliorer le raisonnement mathématique et logique.