Annotation par préférence humaine (Human Preference Annotation)

Définition

L'annotation par préférence humaine est une méthode de collecte de données dans laquelle des évaluateurs comparent deux ou plusieurs réponses générées par un modèle pour un même prompt et indiquent laquelle ils préfèrent, plutôt que d'attribuer une note absolue. Ce format de comparaison par paires est jugé plus fiable et plus reproductible qu'une notation continue, car il réduit la variance entre annotateurs. Les jeux de données de préférence ainsi constitués, comme ceux utilisés par Anthropic, OpenAI ou Meta, servent à entraîner un modèle de récompense dans le cadre du RLHF, le Reinforcement Learning from Human Feedback, ou à appliquer directement des méthodes d'optimisation de préférence comme le DPO, Direct Preference Optimization, qui ajuste le modèle sans passer par un modèle de récompense intermédiaire. Les critères de préférence portent typiquement sur l'utilité, l'exactitude factuelle, l'innocuité et le respect des consignes de sécurité. La qualité des annotateurs, leur formation et la clarté des grilles d'évaluation influencent directement l'alignement final du modèle : des instructions ambiguës produisent des préférences incohérentes qui se propagent dans le comportement du modèle entraîné. Cette étape constitue un poste de coût significatif dans le développement des LLM alignés, mobilisant des équipes d'annotateurs parfois assistées d'IA pour un premier tri des réponses.