如何防止过拟合
通常过拟合由以下三种原因产生:1. 假设过于复杂;2. 数据存在很多噪音;3. 数据规模太小。
过拟合的解决方法通常有:1. early stopping;2. 数据集扩增;3. 正则化;4. Dropout。
正则化方法:
正则化是指在优化目标函数或代价函数是,在目标函数后面加上一个正则项。正则项通常有L1正则项和L2正则项。
L1正则项是为了使得那些原先处于零(即|w|≈0)附近的参数w往零移动,使得部分参数为零,从而降低模型的复杂度
L2正则是基于L2范数,尽量使全部特征的权值变小, 每个特征都用到
参考:
https://blog.csdn.net/weixin_37933986/article/details/69681671
来源:CSDN
作者:御剑归一
链接:https://blog.csdn.net/wj1298250240/article/details/103792854