L2正则和权值衰减的区别 L2 Regulation vs Weight Decay

对于L2 Regulation 和 Weight Decay，假设原来的损失函数是$f$,
对于有Weight Decay的参数更新规则如下：
$\theta_{t+1}=\theta_{t}-\alpha \nabla f_{t}\left(\theta_{t}\right)-\lambda \theta_{t},$
其中$\lambda$是权值衰减的系数，$\alpha$是学习率。

---

对于有L2 Regulation的参数更新规则如下：
$\theta_{t+1}=\theta_{t}-\alpha \nabla_{f}\left(\theta_{t}\right)- \alpha\lambda^{\prime} \theta_{t},$
其中$\lambda^{\prime}$是L2正则的系数。
可见，只有当$\lambda=\alpha\lambda^{\prime}$，即$\lambda^{\prime}=\lambda/\alpha$时，L2 Regulation 和 Weight Decay在数值上才是完全等价的。

来源：CSDN

作者：木有感情的机器人

链接：https://blog.csdn.net/xiaojiajia007/article/details/104045066