机器学习之模型的选择

模型的选择

在这里插入图片描述

机器学习中，如果参数过多，模型过于复杂，容易造成过拟合（overfit）。即模型在训练样本数据上表现的很好，但在实际测试样本上表现的较差，不具备良好的泛化能力。
L2 正则化公式非常简单，直接在原来的损失函数基础上加上权重参数的平方和
我们知道，正则化的目的是限制参数过多或者过大，避免模型更加复杂。例如，使用多项式模型，如果使用 10 阶多项式，模型可能过于复杂，容易发生过拟合。所以，为了防止过拟合，我们可以将其高阶部分的权重 w 限制为 0，这样，就相当于从高阶的形式转换为低阶。
为了达到这一目的，最直观的方法就是限制 w 的个数，但是这类条件属于 NP-hard 问题，求解非常困难。所以，一般的做法是寻找更宽松的限定条件：
在这里插入图片描述上式是对 w 的平方和做数值上界限定，即所有w 的平方和不超过参数 C。这时候，我们的目标就转换为：最小化训练样本误差，但是要遵循 w 平方和小于 C 的条件。

正则化的作用

正则化：防止数据过拟合。
对损失函数加上一个正则项。
正则化的主要作用是防止过拟合，对模型添加正则化项可以限制模型的复杂度，使得模型在复杂度和性能达到平衡。
常用的正则化方法有L1正则化和L2正则化。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。 L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归。但是使用正则化来防止过拟合的原理是什么？L1和L2正则化有什么区别呢？

在这里插入图片描述
L1正则化是指权值向量w 中各个元素的绝对值之和。
L2正则化是指权值向量w 中各个元素的平方和然后再求平方根。
L1和L2正则化的作用：

L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择，一定程度上，L1也可以防止过拟合
L2正则化可以防止模型过拟合（overfitting）

模型的学习优化的目标是最小化损失函数，学习的结果是模型参数。在原始目标函数的基础上添加正则化相当于，在参数原始的解空间添加了额外的约束。

L1正则化对解空间添加的约束是：
L2正则化对解空间添加的约束是：
-
为了形象化的说明以假设有两个空间，以二维参数空间为例，假设有两个参数W1和W2。
则L1正则化对解空间的约束为：

L2对解空间的约束为：

在二维平面上绘制以上两个式子的图像，可得L1约束的范围是一个顶点在坐标轴上的菱形，L2约束的范围是一个圆形。
蓝色的圆圈表示损失函数的等值线。同一个圆上的损失函数值相等的，圆的半径越大表示损失值越大，由外到内，损失函数值越来越小，中间最小。

如果没有L1和L2正则化约束的话，w1和w2是可以任意取值的，损失函数可以优化到中心的最小值的，此时中心对应的w1和w2的取值就是模型最终求得的参数。
但是填了L1和L2正则化约束就把解空间约束在了黄色的平面内。黄色图像的边缘与损失函数等值线的交点，便是满足约束条件的损失函数最小化的模型的参数的解。由于L1正则化约束的解空间是一个菱形，所以等值线与菱形端点相交的概率比与线的中间相交的概率要大很多，端点在坐标轴上，一些参数的取值便为0。L2正则化约束的解空间是圆形，所以等值线与圆的任何部分相交的概率都是一样的，所以也就不会产生稀疏的参数。
但是L2为什么倾向于产生分散而小的参数呢？那是因为求解模型的时候要求，在约束条件满足的情况下最小化损失函数，L2正则项也应该尽可能的小。
看这样一个例子：
设输入向量x=[1,1,1,1]，两个权重向量w_1=[1,0,0,0]，w_2=[0.25,0.25,0.25,0.25]。
那么

两个权重向量都得到同样的内积，但是W1的L2惩罚是1.0，而W2的L2惩罚是0.25。因此，根据L2惩罚来看，W2更好，因为它的正则化损失更小。从直观上来看，这是因为W2的权重值更小且更分散。所以L2正则化倾向于是特征分散，更小。
L2正则化可以直观理解为它对于大数值的权重向量进行严厉惩罚，倾向于更加分散的权重向量。由于输入和权重之间的乘法操作，这样就有了一个优良的特性：使网络更倾向于使用所有输入特征，而不是严重依赖输入特征中某些小部分特征。 L2惩罚倾向于更小更分散的权重向量，这就会鼓励分类器最终将所有维度上的特征都用起来，而不是强烈依赖其中少数几个维度。。这样做可以提高模型的泛化能力，降低过拟合的风险。
L1正则化有一个有趣的性质，它会让权重向量在最优化的过程中变得稀疏（即非常接近0）。也就是说，使用L1正则化的神经元最后使用的是它们最重要的输入数据的稀疏子集，同时对于噪音输入则几乎是不变的了。相较L1正则化，L2正则化中的权重向量大多是分散的小数字。
在实践中，如果不是特别关注某些明确的特征选择，一般说来L2正则化都会比L1正则化效果好。

在这里插入图片描述

正则化参数超参数拉姆达
我们一般会为正则项参数添加一个超参数λ或者α，用来平衡经验风险和结构风险(正则项表示结构风险)。
这个超参数就好像把解空间缩放一样。
以 L2 为例，若 λ 很小，就是说我们考虑经验风险更多一些，对于结构风险没有那么重视，约束条件更为宽松。对应上文中的 C 值就很大（因为要取最小值超参小，那么L2解空间C就大）。这时候，圆形区域很大，能够让 w 更接近中心最优解的位置。若 λ 近似为 0，相当于圆形区域覆盖了最优解位置，这时候，正则化失效，容易造成过拟合。
相反，若 λ 很大，约束条件更为严格，对应上文中的 C 值就很小（因为要最小化超参大，L2就小）。这时候，圆形区域很小，w 离中心最优解的位置较远。w 被限制在一个很小的区域内变化，w 普遍较小且接近 0，起到了正则化的效果。但是，λ 过大容易造成欠拟合。欠拟合和过拟合是两种对立的状态。
添加正则化相当于参数的解空间添加了约束，限制了模型的复杂度
L1正则化的形式是添加参数的绝对值之和作为结构风险项，L2正则化的形式添加参数的平方和作为结构风险项
L1正则化鼓励产生稀疏的权重，即使得一部分权重为0，用于特征选择；L2鼓励产生小而分散的权重，鼓励让模型做决策的时候考虑更多的特征，而不是仅仅依赖强依赖某几个特征，可以增强模型的泛化能力，防止过拟合。
正则化参数 λ越大，约束越严格，太大容易产生欠拟合。正则化参数 λ越小，约束宽松，太小起不到约束作用，容易产生过拟合。
如果不是为了进行特征选择，一般使用L2正则化模型效果更好。

在这里插入图片描述