https://www.datalearner.com/blog/1051539312290417
在统计学中，普通最小二乘法（OLS）是一种用于在线性回归模型中估计未知参数的线性最小二乘法。 OLS通过最小二乘法原则选择一组解释变量的线性函数的参数：最小化给定数据集中观察到的因变量（被预测变量的值）与预测变量之间残差的平方和。这篇博客将简要描述其参数的求解过程（模型的表示参考：最小二乘法简介）。
我们以一个二元数据为例，假设有一组数据X=\{(x_1,y_1),\cdots,(x_m,y_m)\}X={(x1,y1),⋯,(xm,ym)}，我们希望求出一条直线，来拟合这一组数据：
y = x\beta + \beta_0y=xβ+β0
残差平方和：
S(\beta) = \sum_{i=0}^m (y_i - x_i\beta - \beta_0)^2S(β)=∑i=0m(yi−xiβ−β0)2
我们要求出\betaβ和\beta_0β0使得上述目标函数取得最小值，显然，可以通过对\betaβ和\beta_0β0分别求偏导得到：
\begin{aligned} \frac{\partial S(\beta)}{\partial\beta} &= \sum_{i=1}^m2(y_i-x_i\beta-\beta_0)(-x_i) \\ \\ & = \sum_{i=1}^m(-2)(x_iy_i - x_i^2\beta - \beta_0x_i) \\ \\ & = 2\sum_{i=1}^m(x_i^2\beta+\beta_0x_i - x_iy_i) \\ \end{aligned}∂β∂S(β)=∑i=1m2(yi−xiβ−β0)(−xi)=∑i=1m(−2)(xiyi−xi2β−β0xi)=2∑i=1m(xi2β+β0xi−xiyi)
\begin{aligned} \frac{\partial S(\beta)}{\partial\beta_0} &= \sum_{i=1}^m2(y_i-x_i\beta-\beta_0)(-1) \\ \\ & = \sum_{i=1}^m(-2)(y_i - x_i\beta - \beta_0) \\ \\ & = 2\sum_{i=1}^m(x_i\beta+\beta_0 - y_i) \\ \\ & = 2(m\beta \frac{\sum_{i=1}^m(x_i)}{m} + m\beta_0 - m\frac{\sum_{i=1}^my_i}{m}) \\ \end{aligned}∂β0∂S(β)=∑i=1m2(yi−xiβ−β0)(−1)=∑i=1m(−2)(yi−xiβ−β0)=2∑i=1m(xiβ+β0−yi)=2(mβm∑i=1m(xi)+mβ0−mm∑i=1myi)
令\bar{x} = \frac{\sum_{i=1}^m(x_i)}{m}x¯=m∑i=1m(xi)，\bar{y}=\frac{\sum_{i=1}^my_i}{m}y¯=m∑i=1myi
那么，上述第二个偏导结果：
\frac{\partial S(\beta)}{\partial\beta_0} = 2 m (\beta \bar{x} + \beta_0 - \bar{y})∂β0∂S(β)=2m(βx¯+β0−y¯)
令第二个偏导等于0：
\begin{aligned} 2 m (\beta \bar{x} + \beta_0 - \bar{y}) &= 0 \\ \\ \beta_0 = \bar{y} - \beta\bar{x} \end{aligned}2m(βx¯+β0−y¯)β0=y¯−βx¯=0
令上述第一个偏导结果等于0，并带入上述\beta_0β0有：
\begin{aligned} \frac{\partial S(\beta)}{\partial\beta} &= 0\\ \\ 2\sum_{i=1}^m[x_i^2\beta+(\bar{y} - \beta\bar{x})x_i - x_iy_i] &= 0 \\ \\ \beta(\sum_{i=1}^mx_i^2 - \bar{x}\sum_{i=1}^mx_i) &= \sum_{i=1}^mx_iy_i - \bar{y}\sum_{i=1}^mx_i \\ \\ \beta &= \frac{\sum_{i=1}^mx_iy_i - \bar{y}\sum_{i=1}^mx_i}{\sum_{i=1}^mx_i^2 - \bar{x}\sum_{i=1}^mx_i}\\ \\ \beta &= \frac{\sum_{i=1}^mx_iy_i - \bar{y}\sum_{i=1}^mx_i - m\bar{y}\bar{x} + m \bar{y}\bar{x}}{\sum_{i=1}^mx_i^2 - 2\bar{x}\sum_{i=1}^mx_i+ \bar{x}\sum_{i=1}^mx_i} \\ \\ \beta &= \frac{\sum_{i=1}^mx_iy_i - \bar{y}\sum_{i=1}^mx_i - \sum_{i=1}^my_i\bar{x} + m \bar{y}\bar{x}}{\sum_{i=1}^mx_i^2 - 2\bar{x}\sum_{i=1}^mx_i+ m\bar{x}^2} \\ \\ \beta &= \frac{\sum_{i=1}^m(x_iy_i - \bar{y}x_i - y_i\bar{x} + \bar{y}\bar{x})}{\sum_{i=1}^m(x_i - \bar{x})^2} \\ \\ \beta &= \frac{\sum_{i=1}^m(x_i-\bar{x})(y_i - \bar{y})}{\sum_{i=1}^m(x_i - \bar{x})^2} \\ \end{aligned}∂β∂S(β)2∑i=1m[xi2β+(y¯−βx¯)xi−xiyi]β(∑i=1mxi2−x¯∑i=1mxi)βββββ=0=0=∑i=1mxiyi−y¯∑i=1mxi=∑i=1mxi2−x¯∑i=1mxi∑i=1mxiyi−y¯∑i=1mxi=∑i=1mxi2−2x¯∑i=1mxi+x¯∑i=1mxi∑i=1mxiyi−y¯∑i=1mxi−my¯x¯+my¯x¯=∑i=1mxi2−2x¯∑i=1mxi+mx¯2∑i=1mxiyi−y¯∑i=1mxi−∑i=1myix¯+my¯x¯=∑i=1m(xi−x¯)2∑i=1m(xiyi−y¯xi−yix¯+y¯x¯)=∑i=1m(xi−x¯)2∑i=1m(xi−x¯)(yi−y¯)
这样，\betaβ和\beta_0β0就可以求出来了。
对于多元形式，则可以运用矩阵运算来求解。如上所述，我们的目标函数是：
S(\bold{\beta}) = \sum_{i=1}^m |y_i - \sum_{j=1}^n x_{ij}\beta_j|^2 = ||y- \bold{X} \bold{\beta}^T||^2S(β)=∑i=1m∣yi−∑j=1nxijβj∣2=∣∣y−XβT∣∣2
如果要使上述目标函数最小，显然其结果为0，即：
y- \bold{X} \bold{\beta}^T = 0y−XβT=0
也就是说：
\begin{aligned} \bold{X}\beta^T &= y \\ \\ \bold{X}^T\bold{X}\beta^T &= \bold{X}^Ty \\ \\ (\bold{X}^T\bold{X})^{-1}\bold{X}^T\bold{X}\beta^T &= (\bold{X}^T\bold{X})^{-1}\bold{X}^Ty \\ \\ \beta^T &= (\bold{X}^T\bold{X})^{-1}\bold{X}^Ty \\ \end{aligned}XβTXTXβT(XTX)−1XTXβTβT=y=XTy=(XTX)−1XTy=(XTX)−1XTy
