Direction de caracteristique latente

Définition

La direction de caracteristique latente est un vecteur dans l'espace des activations d'un reseau de neurones dont l'orientation correspond a un concept semantique specifique, comme la positivite d'un texte, une langue ou une notion abstraite telle que la verite. Cette notion decoule de l'hypothese de representation lineaire, largement etudiee en interpretabilite mecaniste des grands modeles de langage : les concepts seraient encodes non par des neurones individuels mais par des combinaisons lineaires de dimensions de l'espace vectoriel interne. On identifie une direction de caracteristique latente en calculant la difference moyenne d'activations entre exemples positifs et negatifs d'un concept, ou via un autoencodeur epars (sparse autoencoder) qui decompose les activations en composantes plus interpretables et moins superposees. Une fois identifiee, cette direction sert a deux usages : le diagnostic, pour verifier la presence d'un concept dans une couche donnee, et l'intervention, en ajoutant ou soustrayant ce vecteur aux activations pour modifier le comportement du modele, technique appelee steering. Les directions latentes sont centrales dans les recherches d'Anthropic et d'OpenAI sur la decomposition des reseaux de neurones en caracteristiques monosemantiques. Pour la gouvernance IA, elles offrent un levier potentiel de controle fin du comportement d'un modele sans reentrainement complet.