Feature Visualization (Interpretabilite)

Définition

La Feature Visualization est une technique de mechanistic interpretability qui genere synthetiquement les inputs qui maximisent l'activation d'un neurone, d'un canal ou d'une direction dans l'espace des activations d'un reseau de neurones. Elle repond a la question : 'Qu'est-ce que ce neurone a appris a detecter ?' en creant le stimulus qui l'excite le plus. Pour les CNN (reseaux convolutifs), la technique est bien etablie : en utilisant la descente de gradient sur l'espace des images (gradient ascent sur l'activation), on genere une image optimisee pour maximiser le neurone cible. Olah et al. (Distill, 2017) ont visualise systematiquement les features des CNNs, revelant que les premieres couches detectent des bords et textures, les couches moyennes des motifs et parties d'objets, et les dernieres couches des concepts complets. Pour les LLMs, la feature visualization est plus complexe car l'espace d'input est discret (tokens). Les approches incluent : (1) Logit lens — projeter les activations intermediaires dans l'espace de vocabulaire pour voir quelle 'prediction' chaque couche ferait, (2) Steering vectors — trouver des directions dans l'espace d'activation qui correspondent a des concepts (en contrastant des activations avec/sans le concept), (3) Maximum Activating Dataset Examples — trouver dans un large corpus les textes qui maximisent une direction d'activation. Les Sparse Autoencoders (SAE) sont devenus l'outil dominant de feature visualization pour les LLMs : en apprenant un codebook de features monosemantiques a partir des activations, ils permettent d'identifier et de visualiser des milliers de features interpretables. Anthropic (2024) a publie une carte interactive de millions de features du modele Claude 3 Sonnet. La feature visualization a des implications pratiques pour la securite IA : en identifiant les features correspondant a des concepts dangereux (instructions pour la violence, manipulation emotionnelle), il devient possible de monitorer si ces features sont activees pendant l'inference et d'intervenir. C'est la base du Representation Engineering (RepE).