多项式回归简介
考虑下面即将出现的数据，虽然我们可以使用线性回归来拟合这些数据，但是这些数据更像是一条二次曲线,相应的方程是 $y=ax^{2}+bx+c$ ，这是式子虽然可以理解为二次方程，但是我们呢可以从另外一个角度来理解这个式子：
如果将 $x^{2}$ 理解为一个特征，将 $x$ 理解为另外一个特征，换句话说，本来我们的样本只有一个特征 $x$ ，现在我们把他看成有两个特征的一个数据集。多了一个特征 $x^{2}$ ，那么从这个角度来看， 这个式子依旧是一个线性回归的式子，但是从 $x$ 的角度来看，它就是一个二次的方程。
以上这样的方式，就是所谓的多项式回归相当于我们为样本多添加了一些特征，这些特征是原来样本的多项式项，增加了这些特征之后，我们可以使用线性回归的思路来更好的处理我们的数据。
什么是多项式回归
数据来源
import numpy as np import matplotlib.pyplot as plt # 生成100个数字 1*100 np.random.seed(100) x = np.random.uniform(-3, 3, size=100) # 100*1 X = x.reshape(-1, 1) # 一元二次方程 y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, 100) plt.scatter(x, y) plt.show()
线性回归拟合
# 线性回归线 from sklearn.linear_model import LinearRegression lin_reg = LinearRegression() lin_reg.fit(X, y) y_predict = lin_reg.predict(X) plt.scatter(x, y) plt.plot(x, y_predict, color='r') plt.show()
很明显，我们用一跟直线来拟合一根有弧度的曲线，效果是不好的
解决 ：添加一个特征
# 原来所有的数据都在X中，现在对X中每一个数据都进行平方， 再将得到的数据集与原数据集进行拼接， 在用新的数据集进行线性回归 from sklearn.linear_model import LinearRegression lin_reg2 = LinearRegression() lin_reg2.fit(X2, y) X2 = np.hstack([X, X**2]) y_predict2 = lin_reg2.predict(X2) plt.scatter(x, y) # 由于x是乱的，所以应该进行排序 plt.plot(np.sort(x), y_predict2[np.argsort(x)], color='r') plt.show()
从上图可以看出，当我们添加了一个特征（原来特征的平方）之后，再从x的维度来看，就形成了 一条曲线，显然这个曲线对原来数据集的拟合程度是更好的
# 查看x的系数 # 第一个系数是x前面的系数，第二个系数是x平方前面的系数 lin_reg2.coef_ # [0.95406518 0.50130709] # 查看常数 lin_reg2.intercept_ # 1.8432063555039913
即该模型拟合的曲线为 $y=0.95406518x^{2}+ 0.50130709x+1.8432063555039913$
总结
多线性回归在机器学习算法上并没有新的地方，完全是使用线性回归的思路。他的关键在于 为原来的样本，添加新的特征。而我们得到新的特征的方式是原有特征的多项式的组合。 采用这 样的方式，我们就可以解决一些非线性的问题
与此同时需要主要，我们在上一章所讲的PCA是对我们的数据进行降维处理，而我们这一章所讲 的多项式回归显然在做一件相反的事情，他让我们的数据升维，在升维之后使得我们的算法可以更 好的拟合高纬度的数据
scikit-learn中的多项式回归和Pipeline
导入数据
import numpy as np import matplotlib.pyplot as plt x = np.random.uniform(-3, 3, size=100) X = x.reshape(-1, 1) # X.shape --> (100, 1) y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, 100) # sklearn中对数据进行预处理的函数都封装在preprocessing模块下，包括之前学的归一化StandardScal er from sklearn.preprocessing import PolynomialFeatures # 最高次数2次 poly = PolynomialFeatures(degree=2) poly.fit(X) X2 = poly.transform(X) # X2.shape --> (100, 3)
查看差别
print(X[:5, :]) """ [[-1.55352926] [ 1.53422389] [-2.57530034] [ 1.30115235] [-1.34130485]] """ print(X2[:5, :]) # 第一列是sklearn为我们添加的X^0的特征 # 第二列和原来的特征一样是X^1的特征 # 第三列是添加的X^2的特征 """ [[ 1. -1.55352926 2.41345318] [ 1. 1.53422389 2.35384294] [ 1. -2.57530034 6.63217186] [ 1. 1.30115235 1.69299744] [ 1. -1.34130485 1.7990987 ]] """
绘制图形
from sklearn.linear_model import LinearRegression lin_reg2 = LinearRegression() lin_reg2.fit(X2, y) y_predict2 = lin_reg2.predict(X2) plt.scatter(x, y) plt.plot(np.sort(x), y_predict2[np.argsort(x)], color='r') plt.show()
结果
print(lin_reg2.coef_) # [0. 0.95218822 0.48750701] print(lin_reg2.intercept_) # 2.0472357913665844
关于PolynomialFeatures
import numpy as np from sklearn.preprocessing import PolynomialFeatures X = np.arange(1, 11).reshape(-1, 2) """ X.shape --> (5, 2) [[ 1 2] [ 3 4] [ 5 6] [ 7 8] [ 9 10]] """ poly = PolynomialFeatures(degree=2) poly.fit(X) X2 = poly.transform(X) """ X2.shape --> (5, 6) [[ 1. 1. 2. 1. 2. 4.] [ 1. 3. 4. 9. 12. 16.] [ 1. 5. 6. 25. 30. 36.] [ 1. 7. 8. 49. 56. 64.] [ 1. 9. 10. 81. 90. 100.]] """
我们可以看到，将5行2列的矩阵进行多项式转换后变成了5行6列
- 第一列是1 对应的是0次幂
- 第二列和第三列对应的是原来的x矩阵，此时他有两列一次幂的项
- 第四列是原来数据的第一列平方的结果
- 第六列是原来数据的第二列平方的结果
- 第五列是原来数据的两 列相乘的结果
可以想象如果将degree设置为3，那么将产生一下10个元素，即
$1,x_{1},x_{2},
x_{1}^{2},x_{2}^{2},x_{1}x_{2},
x_{1}^{3},x_{2}^{3},x_{1}^{2}x_{2},x_{1}x_{2}^{2},
\cdots$
也就是说PolynomialFeatures会穷举出所有的多项式组合