Adversarial Machine Learning

Définition

L'Adversarial Machine Learning est la discipline de recherche qui étudie les vulnérabilités structurelles des systèmes d'apprentissage automatique face à des attaques intentionnelles menées par un adversaire cherchant à en dégrader ou détourner le comportement. Elle structure les attaques observées en quatre catégories principales selon la phase du cycle de vie du modèle ciblée : l'empoisonnement de données (data poisoning), qui corrompt intentionnellement le jeu de données d'entraînement pour biaiser durablement le comportement futur du modèle, les exemples adversariaux (adversarial examples), des perturbations calculées et généralement imperceptibles à l'œil ou à l'oreille humaine, appliquées à une donnée d'entrée légitime au moment de l'inférence pour tromper la classification du modèle sans altération visible du contenu original, l'extraction de modèle (model extraction), où un attaquant reconstruit une approximation fonctionnelle d'un modèle propriétaire en interrogeant massivement son API publique et en observant les réponses obtenues, et l'inversion de modèle (model inversion), qui tente de reconstruire des données d'entraînement sensibles à partir du seul comportement observable du modèle déployé, un risque direct pour la confidentialité si des données personnelles ont servi à l'entraînement. Cette discipline structure directement les évaluations de robustesse et les exercices de red teaming appliqués aux systèmes d'IA critiques avant leur mise en production.