Memoire a court et long terme LSTM

Définition

La memoire a court et long terme, ou LSTM (Long Short-Term Memory), est une variante de reseau de neurones recurrent concue pour resoudre le probleme du gradient qui s'evanouit dans les RNN classiques. Introduite par Hochreiter et Schmidhuber en 1997, elle repose sur une cellule memoire dotee de trois portes apprenables : la porte d'oubli, qui decide quelle information effacer, la porte d'entree, qui decide quelle nouvelle information stocker, et la porte de sortie, qui determine ce qui est transmis a l'etape suivante. Cette architecture permet au reseau de conserver des dependances sur des sequences beaucoup plus longues que les RNN standards, tout en restant entrainable par retropropagation dans le temps. Le LSTM a domine le traitement automatique du langage, la reconnaissance vocale et la traduction automatique pendant plus d'une decennie, avant d'etre largement supplante par les transformeurs a partir de 2017-2018 sur les taches necessitant du contexte long et du parallelisme d'entrainement. Il reste toutefois employe dans des contextes a ressources limitees, sur des series temporelles industrielles, en maintenance predictive ou en detection d'anomalies sur flux continus, ou son cout d'inference sequentiel plus faible et sa maturite operationnelle en font un choix pragmatique face a des architectures plus lourdes.