Mechanistic Interpretability

Définition

L'Interpretability mecaniste est une discipline de recherche en AI Safety qui cherche a comprendre de maniere rigoureuse les mecanismes computationnels internes des reseaux de neurones pour expliquer pourquoi et comment ils produisent leurs sorties. Contrairement aux techniques XAI classiques (LIME, SHAP), elle vise une comprehension causale. Principalement menee par Anthropic (Chris Olah, Elhage et al.) et Neel Nanda, la recherche a identifie des circuits specifiques dans les LLMs : les 'induction heads' (detection de patterns), les 'name mover heads' (propagation des noms propres), et les circuits d'arithmetique modulaire. La Superposition Hypothesis (Elhage et al., 2022) explique pourquoi les LLMs sont difficiles a interpreter : les modeles encodent beaucoup plus de 'features' (concepts) que de dimensions dans leur espace d'activation, en superposant plusieurs features par neurone. Les Sparse Autoencoders (SAE) sont une technique recente pour decomposer ces superpositions : en encodant les activations dans un espace beaucoup plus large avec contrainte de sparsite, on obtient des features monofonctionnelles interpretables ('Paris is in France', 'past tense verbs'). Pour la securite IA, l'interpretability mecaniste est cruciale : comprendre les circuits implementant les comportements indesirables permet de les corriger chirurgicalement ou de developper des detecteurs d'activation pour les monitorer en production.