模型的正则化———权重衰减

正则化

降低模型的过拟合的好方法是正则化这个模型(限制它)：模型有越少的自由度，就越难以拟合数据。
对于一个线性模型，正则化的典型实现就是约束模型中参数的权重。

权重衰减（weight decay）

权重衰减等价于 $L_2$ 范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。
$L_ 2$范数正则化在模型原损失函数基础上添加$L_2$ 范数惩罚项，从而得到训练所需要最小化的函数。$L_2$ 范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。
以一个线性回归损失函数为例:

带有$L_2$范数惩罚项的新损失函数为：

其中超参数$λ>0,λ>0$。当权重参数均为0时，惩罚项最小。当$λ$较大时，惩罚项在损失函数中的比重较大，这通常会使学到的权重参数的元素较接近0。当$λ$设为0时，惩罚项完全不起作用。
在小批量随机梯度下降中，我们将线性回归一节中权重$w_1$和$w_2$的迭代方式更改为

来源：CSDN

作者：大墅哥哥

链接：https://blog.csdn.net/weixin_43532000/article/details/104377375