State Space Models (SSM)
iaDéfinition
Alternative aux transformers pour le traitement de séquences (ex: Mamba), utilisant des équations d'état pour modéliser les dépendances temporelles avec complexité linéaire.
Description
Les State Space Models (SSM), dont Mamba est l'implémentation phare, sont une alternative aux Transformers pour le traitement de séquences. Ils utilisent des équations d'état pour modéliser les dépendances temporelles avec une complexité linéaire en la longueur de la séquence, contre quadratique pour l'attention.
Fonctionnement
Mamba utilise des SSM sélectifs dont les paramètres dépendent de l'entrée (selective state space), leur permettant de filtrer dynamiquement les informations pertinentes. L'architecture SSM peut être hybride avec des couches d'attention pour combiner les avantages des deux approches.
Points clés
- Mamba est 5x plus rapide que les Transformers pour l'inférence sur de longues séquences grâce à la complexité linéaire
- Particulièrement adapté aux données de séries temporelles longues : logs réseau, séquences génomiques
- Les modèles hybrides SSM+Transformer (Jamba, Zamba) combinent la mémoire longue durée des SSM et la précision de l'attention
Besoin d'un expert sur ce sujet ?
Audit, pentest, conformité ISO 27001, développement IA sécurisé — demandez un devis gratuit.
Demander un devis