动手学深度学习笔记二

巧了我就是萌 提交于 2020-02-20 01:58:22

Task03 错题

一.过拟合、欠拟合及解决方法

二.梯度消失、梯度爆炸

可以理解为在夏季的物品推荐系统与冬季相比,时间或者说季节发生了变化,导致了夏季推荐圣诞礼物的不合理的现象,这个现象是由于协变量时间发生了变化造成的。

三.循环神经网络进阶

实现深层循环神经网络需要修改的参数是?num_layers
3.
GRU有重置门和更新门,没有遗忘门。重置门有助于捕捉时间序列里短期的依赖关系,更新门有助于捕捉时间序列⾥长期的依赖关系。参考视频1分20秒起关于GRU的原理讲解。
4.
每个循环单元中的记忆细胞和循环单元的值为LSTM模型中的隐状态,而非参数,因此不需要初始化。
5.
LSTM和GRU能一定程度缓解梯度消失与梯度爆炸的问题。
RNN层数越深效果未必越好,层数的加深会导致模型的收敛变得困难。

Task04

一.机器翻译及相关技术

二.注意力机制与Seq2seq模型

Task05 错题

一.卷积神经网络基础

二.LeNet

三.卷积神经网络进阶

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!