Benchmark de biais et equite

Définition

Un benchmark de biais et equite est un protocole d'evaluation qui mesure les disparites de traitement produites par un modele de langage selon des attributs proteges comme le genre, l'origine ethnique percue, l'age ou le handicap. La methodologie type consiste a soumettre au modele des paires ou series de prompts identiques hormis l'attribut teste (par exemple un meme CV avec un prenom associe a des origines differentes), puis a mesurer les ecarts statistiques dans les reponses, les scores attribues ou les recommandations produites. Des jeux de donnees comme BBQ (Bias Benchmark for Question Answering) evaluent specifiquement la tendance d'un modele a s'appuyer sur des stereotypes sociaux dans des situations ambigues necessitant une inference. D'autres approches mesurent les associations implicites dans les representations vectorielles du modele, independamment de la reponse textuelle finale. Ces evaluations restent methodologiquement complexes : le choix des attributs testes, des categories de reference et des metriques d'agregation influence fortement les resultats, et un modele peut passer un benchmark de biais donne tout en presentant des disparites non captees par ce protocole particulier. Pour un DPO ou un RSSI, ce type de benchmark constitue une piece de dossier de conformite dans le cadre de l'AI Act, notamment pour les systemes de decision automatisee en ressources humaines ou en credit, ou une discrimination algorithmique engage la responsabilite legale de l'organisation deployante.