RLAIF (Reinforcement Learning from AI Feedback)

Définition

RLAIF (Reinforcement Learning from AI Feedback) est une variante du RLHF ou les annotations de preference utilisees pour entrainer le reward model et guider l'optimisation PPO/DPO sont fournies par un autre LLM (un modele 'juge') plutot que par des annotateurs humains. Cette approche a ete developpee pour resoudre le principal goulot d'etranglement du RLHF : le cout et la latence de l'annotation humaine a grande echelle. Constitutional AI (CAI) d'Anthropic (Bai et al., 2022) est la premiere implementation majeure du RLAIF : un modele de langage utilise un ensemble de principes (la 'Constitution') pour auto-critiquer et reviser ses propres reponses, puis generer des donnees de preference qui sont utilisees pour le fine-tuning. Cette approche a permis a Anthropic de reduire considerablement la dependance aux annotations humaines tout en ameliorant la coherence des comportements d'alignment. Lee et al. (Google, 2023) 'RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback' ont montre que le RLAIF avec Gemini comme juge produit des modeles d'une qualite comparable au RLHF humain sur les taches de summarization et de QA, tout en etant beaucoup moins couteux a echelle. Les avantages du RLAIF : scalabilite (un LLM peut generer des millions d'annotations par heure), coherence (les LLMs appliquent les criteres de maniere plus uniforme que les humains), et possibilite d'annotation dans des domaines techniques ou il est difficile de trouver des experts humains. Les limites : le LLM juge peut propager ses propres biais et limitations, la qualite depend fortement du juge utilise, et les LLMs peuvent etre sycophants (preferer des reponses ressemblant a leurs propres outputs). Des techniques comme l'ensemble de juges multiples et la verification factuelle externe sont necessaires pour attenuer ces biais.

Pipeline RLAIF avec LLM-as-Judge

import openai

def llm_judge(prompt, response_a, response_b, judge_model='gpt-4o'):
    judge_prompt = f'Compare ces deux reponses et dis laquelle est meilleure:\n'
    judge_prompt += f'Reponse A: {response_a}\nReponse B: {response_b}\n'
    judge_prompt += 'Reponds par A ou B avec une breve justification.'

    response = openai.chat.completions.create(
        model=judge_model,
        messages=[{'role': 'user', 'content': judge_prompt}]
    )
    verdict = response.choices[0].message.content
    return 'A' if verdict.strip().startswith('A') else 'B'

Constitutional AI (Anthropic)

SL-CAI : generer des reponses initiales, les auto-critiquer selon la Constitution, reviser
RL-CAI : utiliser un modele de feedback (RLAIF) pour preferer les reponses constitutionnelles

Outils open-source

distilabel (Argilla) : pipeline RLAIF avec n'importe quel LLM comme juge
Prometheus-2 : modele juge specialise open-source pour evaluer les reponses
JudgeLM : dataset et modele pour le LLM-as-a-judge

Articles liés

Expert en cybersécurité offensive et intelligence artificielle. Pentest, audit et développement IA sur-mesure.

Services

Ressources

Projets & Outils

Contact

Nous contacter

Mentions légales Confidentialité Politique éditoriale Plan du site ⭐ Source préférée

Un projet cybersécurité ?

Expert dispo · Réponse 24h

Devis