長短期記憶

长短期记忆（英語：，）是一种时间循环神经网络（RNN）[1]，论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。

LSTM的表现通常比时间循环神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上[2]。2009年，用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别，2013年運用TIMIT自然演講資料庫達成17.7%錯誤率的紀錄。作为非线性模型，LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。

通常情况，一个LSTM单元由细胞单元（）、输入门（）、输出门（）[3]、遗忘门（）[4]组成。

历史

1997年，Sepp Hochreiter和于尔根·施密德胡伯提出LSTM。版本包含了cells, input以及output gates。

2014年，Kyunghyun Cho et al.发明了门控循环单元（GRU）。[5]

2016年，谷歌用LSTM进行谷歌翻译。[6] 苹果公司、微软和亞馬遜公司也用LSTM生产产品，例如：iPhone[7]、Amazon Alexa[8]等。中国公司也正在用LSTM。

结构

简单LSTM的结构[9]

LSTM是一種含有LSTM區塊（blocks）或其他的一種類神經網路，文獻或其他資料中LSTM區塊可能被描述成智慧型網路單元，因為它可以記憶不定時間長度的數值，區塊中有一個gate能夠決定input是否重要到能被記住及能不能被輸出output。

右圖底下是四個S函數單元，最左邊函數依情況可能成為區塊的input，右邊三個會經過gate決定input是否能傳入區塊，左邊第二個為input gate，如果這裡產出近似於零，將把這裡的值擋住，不會進到下一層。左邊第三個是forget gate，當這產生值近似於零，將把區塊裡記住的值忘掉。第四個也就是最右邊的input為output gate，他可以決定在區塊記憶中的input是否能輸出。

LSTM有很多个版本，其中一个重要的版本是GRU（Gated Recurrent Unit）[10]，根据谷歌的测试表明，LSTM中最重要的是Forget gate，其次是Input gate，最次是Output gate[11]。

方程

${\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}$

变量

$x_{t}\in \mathbb {R} ^{d}$ : LSTM的input（輸入）
$f_{t}\in \mathbb {R} ^{h}$ : forget gate（遺忘閥）
$i_{t}\in \mathbb {R} ^{h}$ : input gate（輸入閥）
$o_{t}\in \mathbb {R} ^{h}$ : output gate（輸出閥）
$h_{t}\in \mathbb {R} ^{h}$ : hidden state（隱藏狀態）
$c_{t}\in \mathbb {R} ^{h}$ : cell state（單元狀態）
$W\in \mathbb {R} ^{h\times d}$ 、 $U\in \mathbb {R} ^{h\times h}$ 、 $b\in \mathbb {R} ^{h}$ : 訓練中的矩阵，网络学习计算元值

训练方法

為了最小化訓練誤差，梯度下降法（Gradient descent）如：應用時序性倒傳遞演算法，可用來依據錯誤修改每次的權重。梯度下降法在循環神經網路（RNN）中主要的問題初次在1991年發現，就是誤差梯度隨著事件間的時間長度成指數般的消失。當設置了LSTM 區塊時，誤差也隨著倒回計算，從output影響回input階段的每一個gate，直到這個數值被過濾掉。因此正常的倒循環類神經是一個有效訓練LSTM區塊記住長時間數值的方法。

Backpropagation through time、BPTT [12][13]

LSTM的经典模型

应用

机器控制[14]
時間序列
语音识别
音乐
自然语言处理
手写识别
生物
飞机处理
自動駕駛汽車
自平衡滑行车
电脑游戏
动画
即時天氣預報（ConvLSTM）

参见

人工神经网络
深度学习
前额叶皮质基底节工作记忆（PBWM）
循环神经网络（RNN）
时间序列
Seq2Seq模型

参考

S. Hochreiter and J. Schmidhuber. Long short-term memory. Neural Computation, 9(8):1735–1780, 1997.
A. Graves, M. Liwicki, S. Fernandez, R. Bertolami, H. Bunke, J. Schmidhuber. A Novel Connectionist System for Improved Unconstrained Handwriting Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 31, no. 5, 2009.
Hochreiter, Sepp; Schmidhuber, Juergen. . Advances in Neural Information Processing Systems. 1996 [2023-07-29]. （原始内容存档于2023-03-15）.
Felix A. Gers; Jürgen Schmidhuber; Fred Cummins. . Neural Computation. 2000, 12 (10): 2451–2471. CiteSeerX 10.1.1.55.5709 . PMID 11032042. S2CID 11598600. doi:10.1162/089976600300015015.
Cho, Kyunghyun; van Merrienboer, Bart; Gulcehre, Caglar; Bahdanau, Dzmitry; Bougares, Fethi; Schwenk, Holger; Bengio, Yoshua. . arXiv:1406.1078 [cs, stat]. 2014-09-02 [2020-02-11]. （原始内容存档于2022-02-08）.
Wu, Yonghui; Schuster, Mike; Chen, Zhifeng; Le, Quoc V.; Norouzi, Mohammad; Macherey, Wolfgang; Krikun, Maxim; Cao, Yuan; Gao, Qin. . arXiv:1609.08144 [cs]. 2016-10-08 [2020-02-11]. （原始内容存档于2021-01-14）.
Amir@theinformation.cOm. . The Information. [2020-02-11]. （原始内容存档于2021-01-15）.
. www.allthingsdistributed.com. [2020-02-11]. （原始内容存档于2019-04-01）.
Klaus Greff; Rupesh Kumar Srivastava; Jan Koutník; Bas R. Steunebrink; Jürgen Schmidhuber. . IEEE Transactions on Neural Networks and Learning Systems. 2015, 28 (10): 2222–2232. PMID 27411231. arXiv:1503.04069 . doi:10.1109/TNNLS.2016.2582924.
Neural Machine Translation by Jointly Learning to Align and Translate （页面存档备份，存于），Cho et al. 2014年。
递归神经网络结构经验之谈（页面存档备份，存于），2015年。
. COS 485 Neural Networks: Theory and Applications. 2019-04-24 [2020-02-11] （英语）.
Danqi Chen. (PDF). （原始内容存档 (PDF)于2020-09-02）.
Institute of Electrical and Electronics Engineers. . Piscataway, NJ: IEEE https://www.worldcat.org/oclc/812612388. 2006. ISBN 1-4244-0258-1. OCLC 812612388. 缺少或|title=为空 (帮助)

外部链接

理解LSTM网络（页面存档备份，存于），作者Christopher Olah，更新于2015年八月。
http://people.idsia.ch/~juergen/rnn.html （页面存档备份，存于）
https://www.youtube.com/watch?v=cTqVhcrilrE&list=WL&index=51

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[1] S. Hochreiter and J. Schmidhuber. Long short-term memory. Neural Computation, 9(8):1735–1780, 1997.

[2] A. Graves, M. Liwicki, S. Fernandez, R. Bertolami, H. Bunke, J. Schmidhuber. A Novel Connectionist System for Improved Unconstrained Handwriting Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 31, no. 5, 2009.

[hochreiter1996-3] Hochreiter, Sepp; Schmidhuber, Juergen. . Advances in Neural Information Processing Systems. 1996 [2023-07-29]. （原始内容存档于2023-03-15）.

[lstm2000-4] Felix A. Gers; Jürgen Schmidhuber; Fred Cummins. . Neural Computation. 2000, 12 (10): 2451–2471. CiteSeerX 10.1.1.55.5709 . PMID 11032042. S2CID 11598600. doi:10.1162/089976600300015015.

[5] Cho, Kyunghyun; van Merrienboer, Bart; Gulcehre, Caglar; Bahdanau, Dzmitry; Bougares, Fethi; Schwenk, Holger; Bengio, Yoshua. . arXiv:1406.1078 [cs, stat]. 2014-09-02 [2020-02-11]. （原始内容存档于2022-02-08）.

[6] Wu, Yonghui; Schuster, Mike; Chen, Zhifeng; Le, Quoc V.; Norouzi, Mohammad; Macherey, Wolfgang; Krikun, Maxim; Cao, Yuan; Gao, Qin. . arXiv:1609.08144 [cs]. 2016-10-08 [2020-02-11]. （原始内容存档于2021-01-14）.

[7] Amir@theinformation.cOm. . The Information. [2020-02-11]. （原始内容存档于2021-01-15）.

[8] . www.allthingsdistributed.com. [2020-02-11]. （原始内容存档于2019-04-01）.

[ASearchSpaceOdyssey-9] Klaus Greff; Rupesh Kumar Srivastava; Jan Koutník; Bas R. Steunebrink; Jürgen Schmidhuber. . IEEE Transactions on Neural Networks and Learning Systems. 2015, 28 (10): 2222–2232. PMID 27411231. arXiv:1503.04069 . doi:10.1109/TNNLS.2016.2582924.

[10] Neural Machine Translation by Jointly Learning to Align and Translate （页面存档备份，存于），Cho et al. 2014年。

[11] 递归神经网络结构经验之谈（页面存档备份，存于），2015年。

[12] . COS 485 Neural Networks: Theory and Applications. 2019-04-24 [2020-02-11] （英语）.

[13] Danqi Chen. (PDF). （原始内容存档 (PDF)于2020-09-02）.

[14] Institute of Electrical and Electronics Engineers. . Piscataway, NJ: IEEE https://www.worldcat.org/oclc/812612388. 2006. ISBN 1-4244-0258-1. OCLC 812612388. 缺少或|title=为空 (帮助)

机器学习与

范式监督学习無監督學習線上機器學習元学习半监督学习自监督学习强化学习基于规则的机器学习量子機器學習
问题统计分类生成模型迴歸分析聚类分析降维密度估计异常检测数据清洗自动机器学习关联规则学习語意分析结构预测特征工程表征学习排序学习语法归纳本体学习多模态学习
监督学习 (分类 · 回归) 学徒学习决策树学习集成学习 Bagging 提升方法随机森林 k-NN 線性回歸朴素贝叶斯人工神经网络邏輯斯諦迴歸感知器相关向量机（RVM）支持向量机（SVM）迁移学习微调
聚类分析 BIRCH CURE算法层次 k-平均 Fuzzy 期望最大化（EM） DBSCAN OPTICS 均值飘移
降维因素分析 CCA ICA LDA NMF PCA PGD t-SNE SDL
结构预测圖模式貝氏網路條件隨機域隐马尔可夫模型
异常检测 RANSAC k-NN 局部异常因子孤立森林
人工神经网络自编码器認知計算深度学习 DeepDream 多层感知器 RNN LSTM GRU ESN 储备池计算受限玻尔兹曼机 GAN SOM CNN U-Net Transformer Vision transforme 脉冲神经网络 Memtransistor 电化学RAM（ECRAM）
强化学习 Q学习 SARSA 时序差分（TD）多智能体 Self-play RLHF
与人类学习主动学习众包 Human-in-the-loop
模型诊断学习曲线
数学基础内核机器偏差–方差困境计算学习理论经验风险最小化奥卡姆学习 PAC学习统计学习 VC理论
大会与出版物 NeurIPS ICML ICLR ML JMLR
相关条目人工智能术语机器学习研究数据集列表机器学习概要