SimPO (Simple Preference Optimization)

Définition

SimPO (Simple Preference Optimization) est une methode d'alignement des LLMs proposee par Meng et al. (Princeton/CMU, 2024) qui simplifie DPO en eliminant completement le besoin d'un modele de reference, tout en ameliorant les performances. SimPO utilise la longueur-normalisee log-probabilite moyenne de la reponse comme reward implicite, associee a une marge gamma qui force un ecart entre les reponses choisies et rejetees. La formule cle de SimPO : L_SimPO = -log(sigma(beta/|y_w| * log p(y_w|x) - beta/|y_r| * log p(y_r|x) - gamma)), ou |y| est la longueur de la reponse (normalisation par longueur), gamma est la marge cible, et beta est l'echelle de temperature. La normalisation par longueur corrige le biais DPO vers les reponses plus longues. Les avantages de SimPO : (1) Pas de modele de reference — reduire de 50% la memoire GPU, (2) Normalisation par longueur — reponses alignees en termes de qualite, pas de longueur, (3) Marge gamma — separation explicite entre choisie et rejetee pour un meilleur signal d'apprentissage. SimPO a obtenu des scores SOTA sur AlpacaEval 2 et Arena-Hard au moment de sa publication. SimPO est disponible dans TRL depuis la version 0.9. Sa configuration est similaire a DPO : meme format de donnees (prompt, chosen, rejected), meme tokenizer, mais sans parametre ref_model. Les hyperparametres cles sont beta (5-10 typique) et gamma (0.5-1.0 typique). La comparaison ORPO vs SimPO : les deux eliminent le besoin de reference et fusionnent SFT+alignment en une passe. ORPO utilise un odds ratio basé sur les probabilites directes ; SimPO utilise la longueur-normalisee log-prob. En pratique, SimPO tend a mieux performer sur les benchmarks d'alignement conversationnel tandis qu'ORPO est plus stable pour les petits modeles.