Training Data Extraction

Définition

La Training Data Extraction (extraction de donnees d'entrainement) est une attaque de securite et de confidentialite qui consiste a interroger un LLM de maniere a lui faire reproduire des exemples memorises de son corpus d'entrainement. Carlini et al. (2021) ont demontre que GPT-2 peut reproduire verbatim des paragraphes entiers de son corpus d'entrainement via des strategies de prompting specifiques. Le mecanisme : les LLMs memorisent certains passages de leur corpus d'entrainement, en particulier les textes frequemment repetes (code, textes legaux, contenus viraux). En fournissant au modele le debut d'un de ces textes comme prompt, il peut en reproduire la suite fidelement — potentiellement revelant des donnees personnelles ou confidentielles. L'etude de Carlini et al. (2022) sur GPT-2 a identifie des milliers de sequences memorisees verbatim, dont des adresses email, des numeros de telephone, des cles d'API, des extraits de code avec des tokens sensibles, et des passages de textes proteges par le droit d'auteur. Des etudes subsequentes ont montre que LLaMA 2 et GPT-3 presentent des proprietes similaires. Les facteurs qui influencent la memorisation : (1) Frequence de repetition dans le corpus — plus un texte est repete, plus il est memorise, (2) Taille du modele — les plus grands modeles memorisent davantage, (3) Longueur du prefixe — fournir plus de contexte augmente la probabilite d'extraction reussie. Les defenses contre la data extraction : (1) Differential Privacy (DP) lors de l'entrainement — ajouter du bruit aux gradients limite la memorisation individuelle mais degrade les performances, (2) Deduplication du corpus d'entrainement — supprimer les duplicates reduit la memorisation des textes repetes, (3) Output filtering — detecter et bloquer les outputs qui correspondent a des données de référence, (4) Rate limiting — limiter les requetes repetitives similaires.