step by step构建LSTM的向前传播(Building a LSTM step by step)
3 月,跳不动了?>>> 本文参考原文- http://bjbsair.com/2020-03-25/tech-info/6366/ 目录 阀门和状态描述 LSTM cell LSTM整个过程 需要理解: 遗忘门,更新门,输出门的作用是什么,它们是怎么发挥作用的。 单元状态 cell state 是如何来选择性保留信息。 下面这张图将示意LSTM的操作。 LSTM单元,它在每一个时间步长跟踪更新“单元状态”或者是记忆变量。 同之前讲的RNN例子一样,我们将以一个时间步长的LSTM单元执行开始,接着你就可以用for循环处理Tx个时间步长。 阀门和状态概述 遗忘门 概念: 假设我们正在阅读一段文本中的单词,并计划使用LSTM跟踪语法结构,例如判断主体是单数(“ puppy”)还是复数(“ puppies”)。 如果主体更改其状态(从单数词更改为复数词),那么先前的记忆状态将过时,因此我们“忘记”过时的状态。 “遗忘门”是一个张量,它包含介于0和1之间的值。 如果遗忘门中的一个单元的值接近于0,则LSTM将“忘记”之前单元状态相应单位的存储值。 如果遗忘门中的一个单元的值接近于1,则LSTM将记住大部分相应的值。 公式: 公式的解释: 包含控制遗忘门行为的权重。 之前时间步长的隐藏状态和当前时间步长的输入连接在一起乘以。 sigmoid函数让每个门的张量值在0到1之间。