A/B Testing ML

Définition

L'A/B testing ML est une méthode d'expérimentation contrôlée qui compare deux versions d'un modèle de machine learning déployées simultanément en production, chacune exposée à un segment distinct d'utilisateurs sélectionné aléatoirement, afin de mesurer l'impact réel de leurs différences sur des métriques métier définies à l'avance : taux de conversion, précision perçue, temps de réponse ou taux de rétention. Contrairement à une évaluation hors ligne sur un jeu de test statique, l'A/B testing capture le comportement du modèle face à des données réelles et à des utilisateurs réels, révélant des écarts que les métriques classiques comme l'accuracy ou le F1-score ne détectent pas toujours. La méthodologie exige un dimensionnement statistique rigoureux de l'échantillon, un test de significativité, souvent un test du chi carré ou un test t, et une durée d'expérimentation suffisante pour lisser les effets de saisonnalité ou de nouveauté. Des variantes plus avancées incluent les bandits multi-armés, qui réallouent dynamiquement le trafic vers la version la plus performante en cours d'expérimentation, réduisant le coût d'opportunité par rapport à un A/B test classique à répartition fixe. Dans un contexte de gouvernance IA, l'A/B testing ML doit être documenté et tracé, notamment lorsque le modèle testé influence des décisions ayant un impact sur des personnes physiques au sens du RGPD.