线性回归是比较经典的线性模型，属于监督学习中预测值为连续值的回归问题。
线性回归针对的是一个或多个特征与连续目标变量之间的关系建模，即线性回归分析的主要目标是在连续尺度上预测输出，而非分类标签，即预测值为连续值。
线性模型
一元线性回归和多元线性回归
多项式回归和对数线性回归
线性回归的L1正则化和L2正则化
线性回归流程
线性回归优缺点
相信我们很多人可能都有去售楼处买房而无奈回家的行为，就算你没去过售楼处，相信你也应该听说过那令人叹而惊止的房价吧？对于高房价你没有想过这房价是怎么算出来的呢？难道就是房地产商拍拍脑门，北京的一概1000万，上海的一概800万，杭州的一概600万吗？看到这相信你应该有动力想要学好机器学习走向人生巅峰了。
其实仔细想想这房价大有来头，首先房价不可能只和地区有关，北京有1000万的房子，又会有800万、600万的房子，那这些房价不和地区有关还和什么有关呢？如果你真的买过房就知道，房子的价格首先和地区是有着比较大的联系的，北京五环外的房子可能都高于杭州任何地区的房子，在同一个地区内，房子的价格大多和房子的占地面积、户型、采光度等等因素有关系。
这个时候就有某位聪明的投机者想到了，我是不是可以找到一个方法来预测房价呢？如果这个房子的房价明显小于这所房子该有的房价(注：房价可能在某段时间由于某种不为人知的因素有小幅波动)，就把那所买过来了，等房价涨回去了再卖出去，这样看起来也是生财之道。(注：纯属虚构)
可是如果去预测房价呢？上面讲到了房价和房子所在地区x 1 x_1 x 1 x 2 x_2 x 2 x 3 x_3 x 3 x 4 x_4 x 4 ω \omega ω y ^ = ω 1 x 1 + ω 2 x 2 + ω 3 x 3 + ω 4 x 4 + b
\hat{y} = \omega_1x_1 + \omega_2x_2 + \omega_3x_3 + \omega_4x_4 + b
y ^ = ω 1 x 1 + ω 2 x 2 + ω 3 x 3 + ω 4 x 4 + b b b b
基于上述给出房价的决策函数，我们就可以对一个某个不知名的房子输入它的这些特征，然后就可以得到这所房子的预测价格了。
理想总是美好的，即一条生财之道就在眼前，但是我们如何去得到这个决策函数呢？我们可以得到这个特征值，但是这个ω \omega ω
给定有n n n x = ( x 1 , x 2 , … , x n ) x=(x_1,x_2,\ldots,x_n) x = ( x 1 , x 2 , … , x n ) x i x_i x i x x x i i i y ^ = f ( x ) = ω 1 x 1 + ω 2 x 2 + ⋯ + ω n x n + b
\hat{y} = f(x) = \omega_1x_1 + \omega_2x_2 + \cdots + \omega_nx_n + b
y ^ = f ( x ) = ω 1 x 1 + ω 2 x 2 + ⋯ + ω n x n + b y ^ = f ( x ) = ω T x + b ω = { ω 1 , ω 2 , … , ω n } , x = { x 1 , x 2 , … , x n } ! [ 在 这 里 插 入 图 片 描 述 ] ( h t t p s : / / i m g − b l o g . c s d n i m g . c n / 20200225191156406. p n g ? x − o s s − p r o c e s s = i m a g e / w a t e r m a r k , t y p e Z m F u Z 3 p o Z W 5 n a G V p d G k , s h a d o w 1 0 , t e x t a H R 0 c H M 6 L y 9 i b G 9 n L m N z Z G 4 u b m V 0 L 3 d l a X h p b l 80 N j A z M j M 1 M Q = = , s i z e 1 6 , c o l o r F F F F F F , t 7 0 )
\hat{y} = f(x) = \omega^Tx + b \quad \omega=\{\omega_1,\omega_2,\ldots,\omega_n\},x=\{x_1,x_2,\dots,x_n\}
 y ^ = f ( x ) = ω T x + b ω = { ω 1 , ω 2 , … , ω n } , x = { x 1 , x 2 , … , x n } ! [ 在 这 里 插 入 图 片 描 述 ] ( h t t p s : / / i m g − b l o g . c s d n i m g . c n / 2 0 2 0 0 2 2 5 1 9 1 1 5 6 4 0 6 . p n g ? x − o s s − p r o c e s s = i m a g e / w a t e r m a r k , t y p e Z m F u Z 3 p o Z W 5 n a G V p d G k , s h a d o w 1 0 , t e x t a H R 0 c H M 6 L y 9 i b G 9 n L m N z Z G 4 u b m V 0 L 3 d l a X h p b l 8 0 N j A z M j M 1 M Q = = , s i z e 1 6 , c o l o r F F F F F F , t 7 0 ) ω \omega ω b b b
给定有m m m D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } D=\{(x_1,y_1),(x_2,y_2),\ldots,(x_m,y_m)\} D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } 1 1 1 x i x_i x i
由于线性回归属于线性模型的一种，则线性回归也可以通过线性组合的方式学得关于预测值的公式y i ^ = f ( x i ) = ω x i + b
\hat{y_i} = f(x_i) = \omega{x_{i}} + b
y i ^ = f ( x i ) = ω x i + b ω \omega ω b b b y i y_i y i y i ^ \hat{y_i} y i ^ L ( ω , b ) = ( y i − y i ^ ) 2
L(\omega,b) = (y_i - \hat{y_{i}})^2
L ( ω , b ) = ( y i − y i ^ ) 2 KaTeX parse error: No such environment: align at position 8:
\begin{̲a̲l̲i̲g̲n̲}̲
J(\omega,b) & …
均方误差的几何意义对应了欧氏距离(Euclidean distance)，基于均方误差最小化进行模型求解的方法称为最小二乘法(least square method)。在线性回归中，最小二乘法试图找到一条直线，使所有样本的欧式距离之和最小，即试图让均方误差最小化。
在回归问题中对均方误差最小化的过程称为线性回归的最小二乘参数估计(parameter estimation)，可以对均方误差分别对ω \omega ω b b b KaTeX parse error: No such environment: align at position 8:
\begin{̲a̲l̲i̲g̲n̲}̲
& {\frac{\part… ω \omega ω b b b ω = ∑ i = 1 m y i ( x i − x ‾ ) ∑ i = 1 m x i 2 − 1 m ( ∑ i = 1 m x i ) 2
\omega = {\frac {\sum_{i=1}^m y_i(x_i-\overline{x})} {\sum_{i=1}^m {x_i}^2 - {\frac{1}{m}(\sum_{i=1}^m x_i)^2}} }
ω = ∑ i = 1 m x i 2 − m 1 ( ∑ i = 1 m x i ) 2 ∑ i = 1 m y i ( x i − x ) b = 1 m ∑ i = 1 m ( y i − ω x i )
b = {\frac{1}{m}} \sum_{i=1}^m (y_i - \omega{x_i})
b = m 1 i = 1 ∑ m ( y i − ω x i ) x ‾ = 1 m ∑ i = 1 m x i \overline{x} = {\frac{1}{m}}\sum_{i=1}^m x_i x = m 1 ∑ i = 1 m x i x x x
一元线性回归更多的是为了入门，通常情况下碰到的问题都是用多元线性回归(multivariate linear regression)解决的，即样本通常都有n , n > 1 n, \quad n>1 n , n > 1
给定数据集D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } D=\{(x_1,y_1),(x_2,y_2),\ldots,(x_m,y_m)\} D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } n n n x i = x i 1 , x i 2 , … , x i n x_i = x_{i1},x_{i2},\ldots,x_{in} x i = x i 1 , x i 2 , … , x i n n n n y i ^ = f ( x i ) = ω 0 x i 0 + ω 1 x i 1 + ω 2 x i 2 + ⋯ + ω n x i n + b = ω T x i w 0 = b , x i 0 = 1
\hat{y_i} = f(x_i) = \omega_0x_{i0} + \omega_1x_{i1} + \omega_2x_{i2} + \cdots + \omega_nx_{in} + b = \omega^Tx_i \quad w_0=b,x_{i0}=1
y i ^ = f ( x i ) = ω 0 x i 0 + ω 1 x i 1 + ω 2 x i 2 + ⋯ + ω n x i n + b = ω T x i w 0 = b , x i 0 = 1 KaTeX parse error: No such environment: align at position 8:
\begin{̲a̲l̲i̲g̲n̲}̲
J(\omega) & = …
如果对该目标函数直接使用最小二乘法进行估计，计算会很麻烦，因此把特征和标记都写成向量的形式并命名为X X X Y Y Y X = ( x 11 x 12 ⋯ x 1 n 1 x 21 x 22 ⋯ x 2 n 1 ⋮ ⋮ ⋱ ⋮ ⋮ x m 1 x m 2 ⋯ x m n 1 )
X =
\begin{pmatrix}
x_{11} & x_{12} & \cdots & x_{1n} & 1 \\
x_{21} & x_{22} & \cdots & x_{2n} & 1\\
\vdots & \vdots & \ddots & \vdots & \vdots \\
x_{m1} & x_{m2} & \cdots & x_{mn} & 1\\
\end{pmatrix}
X = ⎝ ⎜ ⎜ ⎜ ⎛ x 1 1 x 2 1 ⋮ x m 1 x 1 2 x 2 2 ⋮ x m 2 ⋯ ⋯ ⋱ ⋯ x 1 n x 2 n ⋮ x m n 1 1 ⋮ 1 ⎠ ⎟ ⎟ ⎟ ⎞ Y = ( y 1 y 2 ⋯ y m )
Y =
\begin{pmatrix}
y_1 & y_2 & \cdots & y_m
\end{pmatrix}
Y = ( y 1 y 2 ⋯ y m ) J ( ω ) = 1 2 ( X ω − Y ) T ( X ω − Y )
J(\omega) = {\frac{1}{2}}(X\omega-Y)^T(X\omega-Y)
J ( ω ) = 2 1 ( X ω − Y ) T ( X ω − Y ) 1 2 {\frac{1}{2}} 2 1
同一元线性回归，对ω \omega ω ω \omega ω ω \omega ω ∂ L ( ω ) ∂ ω = 2 X T ( X ω − Y )
{\frac {\partial{L(\omega)}} {\partial{\omega}}} = 2X^T(X\omega-Y)
∂ ω ∂ L ( ω ) = 2 X T ( X ω − Y ) ω \omega ω 2 X T ( X ω − Y ) = 0 2X^T(X\omega-Y)=0 2 X T ( X ω − Y ) = 0 ω \omega ω X T X X^TX X T X
当X T X X^TX X T X 2 X T ( X ω − Y ) = 0 2X^T(X\omega-Y)=0 2 X T ( X ω − Y ) = 0 ω \omega ω ω = ( X T X ) − 1 X T Y
\omega = (X^TX)^{-1}X^TY
ω = ( X T X ) − 1 X T Y X T X X^TX X T X ω \omega ω 2 X T ( X ω − Y ) = 0 2X^T(X\omega-Y)=0 2 X T ( X ω − Y ) = 0 ω \omega ω ω \omega ω ω = ( X T X + λ I ) − 1 X T Y
\omega = (X^TX+\lambda{I})^{-1}X^TY
ω = ( X T X + λ I ) − 1 X T Y λ I \lambda{I} λ I λ \lambda λ X T X + λ I X^TX+\lambda{I} X T X + λ I
使用二阶的海森矩阵的逆矩阵或伪逆矩阵求解，相比比梯度下降法收敛更快，但是当特征参数大时，计算量庞大，时间慢。
牛顿法得到的f ′ ′ ( x ) f''(x) f ′ ′ ( x )
前面说到线性模型为y ^ = f ( x ) = ω 1 x 1 + ω 2 x 2 + ⋯ + ω n x n + b
\hat{y} = f(x) = \omega_1x_1 + \omega_2x_2 + \cdots + \omega_nx_n + b
y ^ = f ( x ) = ω 1 x 1 + ω 2 x 2 + ⋯ + ω n x n + b x i x_i x i x i x_i x i n , n ≥ 2 n, \quad n\geq2 n , n ≥ 2
假设一个正方体的房子的价格与房子的边长、房子的占地面积和房子的体积有关系，然而现在只有房子的边长x 1 x_1 x 1 y ^ = ω 1 x 1 + ω 2 x 1 2 + ω 3 x 1 3 + b
\hat{y} = \omega_1x_1 + \omega_2{x_1}^2 + \omega_3{x_1}^3 + b
y ^ = ω 1 x 1 + ω 2 x 1 2 + ω 3 x 1 3 + b x 1 = x 1 , x 2 = x 1 2 , x 3 = x 1 3 x_1=x_1,x_2={x_1}^2,x_3={x_1}^3 x 1 = x 1 , x 2 = x 1 2 , x 3 = x 1 3 y ^ = ω 1 x 1 + ω 2 x 2 + ω 3 x 3 + b
\hat{y} = \omega_1x_1 + \omega_2x_2 + \omega_3x_3 + b
y ^ = ω 1 x 1 + ω 2 x 2 + ω 3 x 3 + b ( x 1 ) (x_1) ( x 1 ) ( x 1 , x 1 2 , x 1 3 ) (x_1,{x_1}^2,{x_1}^3) ( x 1 , x 1 2 , x 1 3 ) ( x 1 , x 1 2 , x 1 3 ) (x_1,{x_1}^2,{x_1}^3) ( x 1 , x 1 2 , x 1 3 )
拿上一个例子假设，如果房子的边长为10 10 1 0 100 100 1 0 0 1000 1000 1 0 0 0
工业上可能并不像房子的面积、房子的体积一样有明确的目标加上2 次 方 2次方 2 次 方 3 次 方 3次方 3 次 方 2 次 方 2次方 2 次 方 5 次 方 5次方 5 次 方 2 次 方 2次方 2 次 方 5 次 方 5次方 5 次 方
假设现在得到了一个线性回归模型y ^ = ω T x + b \hat{y}=\omega^Tx+b y ^ = ω T x + b y ^ \hat{y} y ^ x x x ln y ^ \ln\hat{y} ln y ^ x x x ln y ^ = ω T x + b
\ln\hat{y} = \omega^Tx+b
ln y ^ = ω T x + b e ω T + b e^{\omega^T+b} e ω T + b y ^ \hat{y} y ^
假设函数g ( ⋅ ) g(·) g ( ⋅ ) y ^ = g − 1 ( ω T x + b ) 或者 g ( y ^ ) = ω T x + b
\hat{y} = g^{-1}(\omega^Tx+b) \quad \text{或者} \quad g(\hat{y}) = \omega^Tx+b
y ^ = g − 1 ( ω T x + b ) 或者 g ( y ^ ) = ω T x + b g ( ⋅ ) g(·) g ( ⋅ ) g ( ⋅ ) = l n ( ⋅ ) g(·)=ln(·) g ( ⋅ ) = l n ( ⋅ )
线性回归的一个大问题就是容易欠拟合，上次讲到的多项式回归属于解决欠拟合的方法之一，但是它也增加了数据的维度，如果数据本身有很多维度，则不适合使用多项式回归。
局部加权线性回归(locally weighted linear regression)也可以解决数据欠拟合的问题，它主要是在估计中引入一些偏差，从而降低预测的均方误差，它的目标函数为KaTeX parse error: No such environment: align at position 8:
\begin{̲a̲l̲i̲g̲n̲}̲
J(\omega) & = … w i w_i w i W W W
目标函数对ω \omega ω ∂ J ( ω ) ∂ ω = X T W X ω − X T W Y
{\frac{\partial{J(\omega)}}{\partial{\omega}}} = X^TWX\omega-X^TWY
∂ ω ∂ J ( ω ) = X T W X ω − X T W Y X T W X ω − X T W Y = 0 X^TWX\omega-X^TWY=0 X T W X ω − X T W Y = 0 ω \omega ω ω = ( X T W X ) − 1 X T W Y
\omega = (X^TWX)^{-1}X^TWY
ω = ( X T W X ) − 1 X T W Y W ( i , i ) = e x p ( ∣ x ( i ) − x ∣ − 2 k 2 )
W(i,i) = exp({\frac{|x^{(i)}-x|}{-2k^2}})
W ( i , i ) = e x p ( − 2 k 2 ∣ x ( i ) − x ∣ ) k k k
通过高斯核即可构造一个只含对角元素的矩阵W W W x x x x i x_i x i ∣ x ( i ) − x ∣ |x^{(i)}-x| ∣ x ( i ) − x ∣ W ( i , i ) W(i,i) W ( i , i ) 1 1 1 x x x x i x_i x i ∣ x ( i ) − x ∣ |x^{(i)}-x| ∣ x ( i ) − x ∣ W ( i , i ) W(i,i) W ( i , i ) 0 0 0
局部加权线性回归虽然解决了欠拟合的问题，但是由于每个预测点都要进行一次线性回归的运算，因此样本数越多则该方法的计算量将越大。相比较普通的线性回归，普通的线性回归属于参数模型，而局部加权线性回归属于非参数模型，每次增加新数据的时候都需要基于样本重新计算ω \omega ω
在过拟合问题的时候说到过，为了解决过拟合问题时，可以在建立模型的时候加上正则化项。对于线性模型，一般有L1正则化、L2正则化和弹性网络等。
线性回归的L1正则化通常称为Lasso回归，它和普通的线性回归的区别是它在目标函数上增加了一个L1正则化项，L1正则化项有一个正则化参数λ \lambda λ J ( ω ) = 1 2 ( X ω − Y ) T ( X ω − Y ) + λ ∑ i = 1 m ∣ ∣ ω ∣ ∣ 1
J(\omega) = {\frac{1}{2}} (X\omega-Y)^T (X\omega-Y) + \lambda\sum_{i=1}^m||\omega||_1
J ( ω ) = 2 1 ( X ω − Y ) T ( X ω − Y ) + λ i = 1 ∑ m ∣ ∣ ω ∣ ∣ 1 1 2 {\frac{1}{2}} 2 1 m m m ∣ ∣ ω ∣ ∣ 1 ||\omega||_1 ∣ ∣ ω ∣ ∣ 1
由于目标函数中的L1范数用的是绝对值之和，导致目标函数中有不可导的点，即无法使用最小二乘法、梯度下降法、牛顿法求解使得均方误差最小化的ω \omega ω ω \omega ω
如果你对Lasso回归的求解过程熟悉了，会发现Lasso回归可以使得一些特征的ω \omega ω ω \omega ω 0 0 0
线性回归的L2正则化通常称为Ridge回归，也称为岭回归。它和普通的线性回归的区别是它在目标函数上增加了一个L2正则化项，而Ridge回归与Lasso回归的区别在于Lasso回归的正则化项是L1范数，而Ridge回归的正则化项是L2范数，Ridge回归的目标函数表达式为J ( ω ) = 1 2 ( X ω − Y ) T ( X ω − Y ) + 1 2 λ ∑ i = 1 m ∣ ∣ ω ∣ ∣ 2
J(\omega) = {\frac{1}{2}} (X\omega-Y)^T (X\omega-Y) + {\frac{1}{2}}\lambda\sum_{i=1}^m||\omega||_2
J ( ω ) = 2 1 ( X ω − Y ) T ( X ω − Y ) + 2 1 λ i = 1 ∑ m ∣ ∣ ω ∣ ∣ 2 1 2 {\frac{1}{2}} 2 1 m m m ∣ ∣ ω ∣ ∣ 2 ||\omega||_2 ∣ ∣ ω ∣ ∣ 2
Ridge回归一般使用最小二乘法的矩阵推导形式，和普通的线性回归类似，首先对ω \omega ω ∂ J ( ω ) ∂ ω = X T ( X ω − Y ) + λ ω
{\frac{\partial{J(\omega)}}{\partial{\omega}}} = X^T(X\omega-Y)+\lambda\omega
∂ ω ∂ J ( ω ) = X T ( X ω − Y ) + λ ω X T ( X ω − Y ) + λ ω = 0 X^T(X\omega-Y)+\lambda\omega=0 X T ( X ω − Y ) + λ ω = 0 ω \omega ω ω = ( X T X + λ E ) − 1 X T Y
\omega = (X^TX+\lambda{E})^{-1}X^TY
ω = ( X T X + λ E ) − 1 X T Y E E E
弹性网络(elastic net)是对Ridge回归和Lasso回归的折中处理，通过混合比γ \gamma γ J ( ω ) = 1 2 ( X ω − Y ) T ( X ω − Y ) + γ λ ∑ i = 1 m ∣ ∣ ω ∣ ∣ 1 + 1 − γ 2 λ ∑ i = 1 m ∣ ∣ ω ∣ ∣ 2
J(\omega) = {\frac{1}{2}} (X\omega-Y)^T (X\omega-Y) + \gamma\lambda\sum_{i=1}^m||\omega||_1 +{\frac{1-\gamma}{2}}\lambda\sum_{i=1}^m||\omega||_2
J ( ω ) = 2 1 ( X ω − Y ) T ( X ω − Y ) + γ λ i = 1 ∑ m ∣ ∣ ω ∣ ∣ 1 + 2 1 − γ λ i = 1 ∑ m ∣ ∣ ω ∣ ∣ 2 γ \gamma γ λ \lambda λ γ = 1 \gamma=1 γ = 1 γ = 0 \gamma=0 γ = 0 γ \gamma γ
有m m m n n n T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ , ( x m , y m ) }
T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m)\}
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ , ( x m , y m ) } x i x_i x i ( x i ( 1 ) , x i ( 2 ) , ⋯ , x i ( n ) ) ({x_i}^{(1)},{x_i}^{(2)},\cdots,{x_i}^{(n)}) ( x i ( 1 ) , x i ( 2 ) , ⋯ , x i ( n ) )
ω \omega ω f ( x ) = ω T x f(x)=\omega^Tx f ( x ) = ω T x
选取初值ω = 0 \omega=0 ω = 0
训练集中选取数据( x i , y i ) (x_i,y_i) ( x i , y i ) ω \omega ω ω = ω − α ( y i − h ( ω T x ) ) x i ( j )
\omega = \omega - \alpha(y_i-h(\omega^Tx)){x_i}^{(j)}
ω = ω − α ( y i − h ( ω T x ) ) x i ( j )
重复步骤2，直至ω \omega ω
得到最小化的目标函数J ( ω ) J(\omega) J ( ω ) ω ∗ \omega^* ω ∗ f ( x ) = w ∗ T x f(x)={w^*}^Tx f ( x ) = w ∗ T x
建立了多特征与标记间的线性因果关系便于分析
可以得到每个特征值的权重，有很好的解释型
普通的线性回归无法处理敏感值问题
无法处理分类问题
线性回归可以说是我们学的第一个工业上还在使用的算法，对于连续值的测量线性回归的表现还是挺不错的。但通常情况下还是需要多多尝试线性回归的变种，即对数线性回归、正则化线性回归，使用它们能够更精准的预测数据，解决过拟合问题，也可以一定的程度让线性回归拟合非线性数据。
