动手深度学习 笔记 7

循环神经网络进阶

GRU（门控循环单元）

门控循环神经网络，为了更好地捕捉时间序列中时间步距离较大的依赖关系。
其中，门控循环单元（gated recurrent unit，GRU）是一种常用的门控循环神经网络，它引入了重置门（reset gate）和更新门（update gate）的概念，从而修改了循环神经网络中隐藏状态的计算方式。

R_t=σ(X_tW_xr+H_t−1W_hr+b_r)
Z_t=σ(X_tW_xz+H_t−1W_hz+b_z)
H˜_t=tanh(X_tW_xh+(R_t⊙H_t−1)W_hh+b_h)
H_t=Z_t⊙H_t−1+(1−Z_t)⊙H˜_t

• 重置⻔有助于捕捉时间序列⾥短期的依赖关系；
• 更新⻔有助于捕捉时间序列⾥⻓期的依赖关系。

来源：CSDN

作者：M.〽

链接：https://blog.csdn.net/weixin_43332422/article/details/104381121