Autoencodeur epars pour interpretabilite

Définition

Un autoencodeur epars pour interpretabilite est une architecture de reseau de neurones utilisee en recherche d'interpretabilite mecanistique pour decomposer les activations internes d'un grand modele de langage en un ensemble de caracteristiques individuelles plus facilement interpretables par un humain. Le probleme technique adresse est la superposition : chaque neurone d'un modele de langage repond generalement a de multiples concepts distincts et non correles, rendant l'analyse directe des neurones peu informative. L'autoencodeur epars projette les activations d'une couche du modele dans un espace de dimension beaucoup plus grande que celui d'origine, tout en imposant une contrainte de parcimonie forcant la plupart des dimensions a rester nulles pour une activation donnee, ce qui tend a isoler des caracteristiques monosemantiques, c'est-a-dire correspondant chacune a un concept unique et coherent, comme un lieu geographique, une structure syntaxique ou un registre de langage. Cette technique a ete popularisee par des travaux de recherche publics d'Anthropic et d'autres laboratoires travaillant sur l'interpretabilite des grands modeles de langage. Les caracteristiques extraites permettent ensuite d'analyser, voire de manipuler directement le comportement du modele en amplifiant ou en supprimant certaines d'entre elles, ouvrant des perspectives pour la detection de comportements indesirables caches, l'audit de securite et la comprehension fine des mecanismes internes des systemes d'IA generative.