Federated Learning

Définition

Le Federated Learning (apprentissage federe) est un paradigme d'entrainement dans lequel le modele est entraine sur des donnees distribuees sur de multiples appareils ou serveurs, sans jamais centraliser les donnees brutes. Au lieu d'envoyer les donnees vers un serveur central, c'est le modele qui voyage vers les donnees : chaque participant entraine localement et n'envoie que les mises a jour de parametres (gradients ou deltas de poids). Propose par Google en 2016 pour ameliorer les modeles de saisie predictive de Gboard sans acceder aux frappes des utilisateurs, le Federated Learning est aujourd'hui utilise en sante (entrainement sur donnees medicales sans les partager entre hopitaux), finance (detection de fraude inter-banques), et appareils mobiles. Le pipeline FL de base (FedAvg, McMahan et al., 2017) : (1) Le serveur distribue le modele global initial. (2) Chaque client realise plusieurs etapes de gradient descent sur ses donnees locales. (3) Les gradients sont envoyes au serveur. (4) Le serveur agreges via FedAvg (moyenne ponderee). (5) Le modele global mis a jour est redistribue. Les defis techniques incluent : Statistical Heterogeneity (distributions differentes entre clients), Communication Efficiency (gradient de milliards de parametres a chaque round), robustesse aux clients malveillants (Poisoning Attacks), et convergence plus lente que l'entrainement centralise. Du point de vue RGPD, le FL n'est pas une garantie de privacy totale : des attaques d'inversion de gradient peuvent reconstruire partiellement les donnees originales. La combinaison FL + Differential Privacy + Secure Aggregation est la solution privacy-by-design la plus robuste.