DPO (Direct Preference Optimization)

Définition

Le Direct Preference Optimization (DPO) est une méthode d'alignement des LLMs sur les préférences humaines proposée par Rafailov et al. (Stanford, 2023) comme alternative directe et simplifiée au RLHF (Reinforcement Learning from Human Feedback). DPO a rapidement été adopté par la communauté open-source et par des acteurs majeurs comme Anthropic, Meta et Mistral AI car il élimine le besoin d'entraîner un reward model séparé et d'optimiser via PPO. L'insight clé de DPO est mathématique : il est possible de re-paramètriser le problème d'optimisation RLHF en substituant la politique optimale directement comme fonction des préférences, ce qui permet d'exprimer la loss RLHF entière en termes de log-probabilités du modèle de langage lui-même. En pratique, DPO utilise un dataset de préférences de la forme (prompt, réponse_choisie, réponse_rejetée) et optimise directement la politique du modèle pour maximiser la probabilité des réponses choisies par rapport aux rejetées. La loss DPO est : L_DPO(π_θ) = -E[(log σ(β × log(π_θ(y_w|x)/π_ref(y_w|x)) - β × log(π_θ(y_l|x)/π_ref(y_l|x))))], où y_w est la réponse préférée, y_l la rejetée, π_ref est le modèle de référence (le SFT model) et β contrôle l'écart toléré par rapport à la référence. Des variantes améliorées ont rapidement émergé : ORPO (Odds Ratio Preference Optimization, 2024) fusionne SFT et alignement en une seule passe sans modèle de référence. SimPO (Simple Preference Optimization, 2024) utilise la longueur moyenne des séquences comme normalisation. IPO (Identity Preference Optimization) corrige les problèmes d'over-fitting de DPO sur les préférences déterministes. Pour les équipes enterprise, DPO est souvent la première technique d'alignement à essayer après un SFT standard : avec des bibliothèques comme TRL de HuggingFace, un dataset de préférences de quelques milliers d'exemples et 1-2 GPU A100/H100, il est possible d'aligner significativement un LLM 7B sur des use-cases spécifiques en quelques heures.