State Space Models (SSM)

Définition

Les State Space Models (SSM, modèles à espace d'états) constituent une architecture alternative aux transformers pour le traitement de séquences longues, modélisant l'évolution d'un état caché continu à travers des équations différentielles ou de récurrence linéaires, une approche héritée de la théorie du contrôle et adaptée à l'apprentissage profond. Contrairement au mécanisme d'attention des transformers, dont le coût de calcul croît quadratiquement avec la longueur de séquence, les SSM offrent une complexité linéaire en temps et en mémoire, permettant de traiter des contextes de très grande longueur (dizaines voire centaines de milliers de tokens) avec une efficacité computationnelle nettement supérieure. Mamba, architecture SSM la plus notable, introduit un mécanisme de sélectivité permettant aux paramètres du modèle de varier dynamiquement en fonction de l'entrée, comblant l'écart de performance qui limitait auparavant les SSM face aux transformers sur les tâches de raisonnement complexe. Cette efficacité en fait une piste sérieuse pour le déploiement de modèles de langage sur des contextes étendus ou des environnements à ressources limitées (Edge AI), réduisant les coûts d'inférence. Sur le plan de la sécurité, les SSM soulèvent des enjeux encore peu explorés : surface d'attaque différente pour les attaques par empoisonnement de contexte long, et robustesse aux prompts adversariaux qui reste un axe de recherche actif comparé aux transformers, mieux étudiés.