Self-Play (LLM Training)

Définition

Le Self-Play dans le contexte des LLMs est un paradigme d'entrainement ou le modele interagit avec lui-meme pour generer des donnees d'apprentissage sans necessite d'annotations humaines a grande echelle. Inspire de l'IA de jeux (AlphaGo, AlphaZero), le Self-Play exploite la capacite des LLMs a evaluer et critiquer leurs propres generations. SPIN (Self-Play Fine-tuning, Chen et al. 2024) est la formalisation la plus rigoureuse : le modele 'joueur' genere des reponses, le modele 'juge' (une version precedente du meme modele) evalue ces reponses contre des exemples du dataset de reference. Le modele est ensuite fine-tune pour generer des reponses preferees par rapport a ses propres generations anterieures. Ce processus itere, le joueur s'ameliorant a chaque round. Self-Rewarding Language Models (Yuan et al., Meta 2024) est une variante ou le meme modele agit simultanement comme generateur de reponses ET comme juge de qualite. Le modele genere des completions, s'auto-evalue via un prompt LLM-as-a-Judge, et les paires (prefere/rejete) sont utilisees pour le DPO. Ce cycle itere, et les auteurs montrent que le modele s'ameliore sur les benchmarks d'instruction-following a chaque iteration. SPPO (Self-Play Preference Optimization) utilise la game theory : les deux 'joueurs' (generateur et juge) sont en competition jusqu'a un equilibre de Nash ou le modele ne peut plus distinguer ses propres completions des references humaines. Cet equilibre theorique correspond a un modele parfaitement aligne. Les avantages du Self-Play : (1) Scalabilite — pas besoin de nouveaux labels humains pour continuer a ameliorer le modele, (2) Objectivite — le juge etant le modele lui-meme, les biais specifiques aux annotateurs humains sont reduits, (3) Domaine-adaptation — peut etre applique a n'importe quel domaine ou le modele peut evaluer la qualite de ses propres outputs.