PPO (Proximal Policy Optimization)

Définition

PPO (Proximal Policy Optimization) est un algorithme de Reinforcement Learning developpe par Schulman et al. (OpenAI, 2017) qui est utilise dans le pipeline RLHF pour optimiser le comportement d'un LLM selon les scores du reward model, tout en maintenant la politique dans un voisinage de la politique de reference (le SFT model). C'est l'algorithme qui a entraine InstructGPT, ChatGPT, et Claude 1/2. Le principe de PPO dans le contexte RLHF : a chaque iteration, le LLM (politique courante) genere des reponses pour des prompts sampled du dataset. Le reward model score ces reponses. PPO met a jour les parametres du LLM pour maximiser le reward tout en gardant un KL-divergence faible par rapport au SFT model de reference — ce qui evite le reward hacking (maximiser le score RM en produisant du texte degenere). La contrainte KL-divergence est critique dans le RLHF : sans elle, le LLM apprendrait rapidement a 'tricher' le reward model (produire des textes qui maximisent le score RM sans etre utiles). Le coefficient beta controle le trade-off : beta eleve conserve le modele proche de la reference, beta faible permet plus de divergence. PPO est computationnellement expensive : pendant l'entrainement, il faut maintenir en memoire simultanement (1) le modele courant (politique), (2) le SFT model de reference (pour le KL), (3) le reward model, et (4) un value model (critique). Cela necessite 4x la memoire du modele seul. Face a ces complexites, DPO et ses variantes (ORPO, SimPO) ont largement remplace PPO dans la communaute open-source pour l'alignement des modeles 7B-70B. Cependant, PPO reste pertinent pour les modeles frontier (GPT-4, Claude Opus) ou les grandes quantites de donnees de feedback RL sont disponibles.