Test A-B de modele en production

Définition

Le test A-B de modele en production est une methode d'evaluation comparative qui expose simultanement deux versions d'un modele d'intelligence artificielle, generalement une version de reference A et une version candidate B, a des segments distincts et statistiquement comparables d'utilisateurs reels. Contrairement au deploiement canari, dont l'objectif premier est de securiser une mise en production, le test A-B vise a mesurer laquelle des deux versions produit de meilleurs resultats sur des indicateurs metier definis a l'avance : taux de conversion, temps de resolution, satisfaction utilisateur, taux d'escalade vers un agent humain pour un chatbot. La repartition du trafic est aleatoire et de taille suffisante pour garantir une significativite statistique, souvent evaluee par un test d'hypothese avec un seuil de confiance fixe, par exemple 95 pour cent. La duree du test doit couvrir la variabilite naturelle du trafic, comme les cycles hebdomadaires, pour eviter des conclusions biaisees par un effet de saisonnalite. Cette pratique, issue du marketing digital, s'applique desormais couramment aux systemes de recommandation, aux moteurs de recherche et aux assistants conversationnels bases sur des LLM. Elle doit s'accompagner d'un controle ethique et documentaire lorsque les utilisateurs exposes a une version degradee n'ont pas explicitement consenti a l'experimentation, un point de vigilance souligne par les cadres de gouvernance IA.