机器学习小白学习笔记之scikit-learn

最近刚把西瓜书啃完，一大堆理论让脑子真的是一团浆糊，说实话看的基本只有一个概念哈哈哈，效果不高，但是让我对与机器学习真的是整体有了一个大的了解，但是并没能将每个课后作业都完成，甚至很多公式推导也没实现，太难了，让我着手于实践，古人云实践出真知，又拿起了另一本书《Introduce to Mashine Learning with python》

昨天上一节，学习完了knn分类回归，这一节继续往下学，自然而然地学到线性模型，线性模型在实际运用中还是相当广泛的。

用于回归的线性模型：
在这里插入图片描述

单一特征的预测结果是一条直线，双特征是一个平面，而高维度的则是一个超平面。

我们继续来看最常见的线性回归模型：

线性回归（普通最小二乘法）

线性回归寻找最佳的参数w（斜率、权重、系数），和b（截距），使得对训练集的预测值与真hide回归目标值y之间的均方误差最小。

在高位数据集中，线性模型将体现的更加强大，但同时会产生过拟合风险，根据书本，通过波士顿房价数据集进行预测。

我们会发现一个情况：
在这里插入图片描述
测试集的分数远远低于训练集的分数，显而易见就是产生了过拟合，所以我们应该找到一个可以控制复杂度的模型，标准线性回归最常用的替代方法之一就是岭回归。

岭回归

其实预测方法和最小二乘法相同，但是做了一下正则化（附带上拟合约束，希望系数尽可能小，让每个特征对输出的影响最小化）。这里用到的是L2正则化，这个不理解的可以去百度一下。

我们通过岭回归进行训练预测，可以看到效果十分显著：在这里插入图片描述
因为我们现实中一般都关注泛化性能，所以理所应当选择岭回归。

我们可以通过控制岭回归方法中的alpha系数来调节模型，alpha越大使得各特征系数越接近0，越小使得约束越小，我这里写了一个循环来尝试一下。

在这里插入图片描述

我写了100个循环来调参，从0.01-1.0，大家可以看到，最高就是0.77，到后面就是走下坡路啦。下面这幅图也可以看出来：
在这里插入图片描述
那我们继续向下学习：
我们把岭回归和线性回归在波士顿房价数据集上的学习曲线拿出来分析一波：

在这里插入图片描述

这幅图可以看到，随着模型的数据越来越多，两个模型的性能都再提升——这里可以得到一个现象，如果有足够多的训练数据，正则化变得不太重要，岭回归和线性模型将具有同样的性能。

lasso

另一种正则化的回归，跟岭回归有点不一样的是这里用的是L1正则化，L1正则化的结果是，使用lasso时某些系数刚好为0，其实就是把重要而特征自动筛选出来，有的系数直接为零。

我们把lasso同样运用到lasso上，发现，存在严重的欠拟合现象，而且只用到了4个特征。
在这里插入图片描述

同样lasso也有一个alpha参数，我们接下来看一下不同的alpha系数对于lasso回归于岭回归比较：
在这里插入图片描述
现实中，一般会首先岭回归，但如果特征很多，而且有很多冗余的特征，那选择lasso回归可能会更好。书上讲到，ElasticNet类，结合了lasso和Ridge 的惩罚项，效果最好，不过腰调节两个参数，一个L1，一个L2.后面就来学学用于分类的线性模型。