如何防止过拟合

前提是你 提交于 2020-01-01 21:08:47

如何防止过拟合

通常过拟合由以下三种原因产生:1. 假设过于复杂;2. 数据存在很多噪音;3. 数据规模太小。
过拟合的解决方法通常有:1. early stopping;2. 数据集扩增;3. 正则化;4. Dropout。

正则化方法:
正则化是指在优化目标函数或代价函数是,在目标函数后面加上一个正则项。正则项通常有L1正则项和L2正则项。
L1正则项是为了使得那些原先处于零(即|w|≈0)附近的参数w往零移动,使得部分参数为零,从而降低模型的复杂度
L2正则是基于L2范数,尽量使全部特征的权值变小, 每个特征都用到
参考:
https://blog.csdn.net/weixin_37933986/article/details/69681671

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!