LSTM原理

Tip：

RNN结构图

LSTM结构图

①细胞状态：

细胞状态图

②遗忘门：
ht1$h_{t1}$和xt$x_t$，输出一个在 0 到 1 之间的数值给每个在细胞状态Ct1$C_{t1}$ 中的数字。1 表示“完全保留”，0 表示“完全舍弃”。

遗忘门结构图和公式

②输入：
it$i^t$。另一部分使用了tanh激活函数输出为C~t${\tilde{C}}_t$。

输入结构图和公式

③细胞状态更新：
Ct1$C_{t1}$和遗忘门ft$f_t$相乘，丢弃一些需要丢弃的信息。然后把C~t${\tilde{C}}_t$和it$i_t$相乘，选出新的信息。最后把这2个结果相加就是新的细胞状态。

细胞状态更新图和公式

④输出：
ot$o^t$。另一部分使用了tanh激活函数激活刚才求得的细胞状态Ct$C_t$。最后将它们相乘，就是隐藏层的输出ht$h_t$了。

输出结构图和公式

①RNN为什么不用Relu解决长期依赖问题：
知乎上的一个答案，感觉可以做一个解释。
②LSTM为什么可以解决长期依赖问题：

文章来源: LSTM原理