多项式回归
一个数据集，用散点图画出来如下图，可以看到此时用一条直线（或者超平面）是不能拟合的，所以需要用一个多项式表示的曲线（或者超曲面）才能得到更好的拟合结果。
下面可以看一个例子：有不同职位，分成10个等级，不同等级的工资不同，可以根据等级（横坐标）和工资（纵坐标）来画一个散点图，具体见下图：
可以看到该散点图呈曲线分布，所以可以用多项式回归来拟合。上方的数据可以从该链接获取（https://pan.baidu.com/s/1fYR3VPFaldz0Bnzfm5wsvg），获取数据文件后，将文件导入到你用python编程的同一个目录下，接下来就是编程实现拟合了，代码如下：
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
# 下面导入的包是用来实现多项式的
from sklearn.preprocessing import PolynomialFeatures
# 载入数据
data = np.genfromtxt("job.csv",delimiter= ",")
x_data = data[1:,1]
y_data = data[1:,2]
# 下面是将取得的数据画一个散点图
# plt.scatter(x_data,y_data)
# plt.show()
x_data = data[1:,1,np.newaxis] # 或者x_data = x_data[:,np.newaxis]
y_data = data[1:,2,np.newaxis] # 或者y_data = y_data[:,np.newaxis]
# 创建并拟合模型
# model = LinearRegression()
# model.fit(x_data,y_data)
# 画图
# plt.plot(x_data,y_data,'b.') #画一个蓝色点的图
# plt.plot(x_data,model.predict(x_data),'r') # 此处用的线性回归模型进行预测，将预测值作为y值，画一个红色的直线拟合
# plt.show()
# 定义多项式回归，degree的值可以调节多项式的特征
poly_reg = PolynomialFeatures(degree=5)
# 特征处理
x_poly = poly_reg.fit_transform(x_data)
# 定义回归模型
lin_reg = LinearRegression()
# 训练模型
lin_reg.fit(x_poly,y_data)
# 画图
plt.plot(x_data,y_data,'b.')
plt.plot(x_data,lin_reg.predict(poly_reg.fit_transform(x_data)),c = 'r')
plt.title('Truth or Bluff(Polynomial Regression)')
plt.xlabel('Position level')
plt.ylabel('Salary')
plt.show()
最后结果如下：
代码被注释的11-13行，是画一个散点图；被注释掉的19-25行表示用线性回归来实现拟合（即用一条直线来拟合数据集），此运行结果与多项式回归（当degree=1时）的运行结果是一样的。代码中的x_poly，当degree=1时，x_poly表示在原始数据前面加一列（原始数据的0次方），当degree=2时，在原始数据前面加一列和后面加一列（原始数据的平方）；其他类推，后面加3次方、4次方、5次方……degree的数值越大，拟合的结果也就越好。
原始数据：
[[ 1.]
[ 2.]
[ 3.]
[ 4.]
[ 5.]
[ 6.]
[ 7.]
[ 8.]
[ 9.]
[10.]]
degree = 1：
[[ 1. 1.]
[ 1. 2.]
[ 1. 3.]
[ 1. 4.]
[ 1. 5.]
[ 1. 6.]
[ 1. 7.]
[ 1. 8.]
[ 1. 9.]
[ 1. 10.]]
degree = 2：
[[ 1. 1. 1.]
[ 1. 2. 4.]
[ 1. 3. 9.]
[ 1. 4. 16.]
[ 1. 5. 25.]
[ 1. 6. 36.]
[ 1. 7. 49.]
[ 1. 8. 64.]
[ 1. 9. 81.]
[ 1. 10. 100.]]
可以看到上方的代码画出的多项式拟合的曲线还是不够平滑，这是因为取的点太少的缘故，我们可以在区间内把区间划分为更多小区间，再用predict函数去画曲线，只需要把上方代码的画图部分修改一下即可，具体代码如下：
# 画图
plt.plot(x_data,y_data,'b.') #用蓝色的点把数据集表示出来
x_test = np.linspace(1,10,100) #linspace(a,b,c)表示划分区间[a,b],等分c份
x_test = x_test[:,np.newaxis] #设置x_test数组格式为一列
plt.plot(x_test,lin_reg.predict(poly_reg.fit_transform(x_test)),c = 'r')
plt.title('Truth or Bluff(Polynomial Regression)')
plt.xlabel('Position level')
plt.ylabel('Salary')
plt.show()在这里插入图片描述
最后画出来的结果如下，可以看见曲线更加平滑了。
来源：CSDN
作者：Y_W_Sally
链接：https://blog.csdn.net/weixin_44831924/article/details/103894998