最小二乘、加权最小二乘、迭代加权最小二乘（迭代重加全最小二乘）

最小二乘、加权最小二乘（WLS）、迭代加权最小二乘（迭代重加全最小二乘）（IRLS）

• 最小二乘：

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。

$X=\begin{bmatrix} x_{11} & x_{12} & ... \\ x_{21} & x_{22} & ... \\ x_{31} & x_{32} & ... \\ ... & ... & x_{mn} \end{bmatrix}$ $Y=\begin{bmatrix} y_{1}\\ ...\\ y_{m} \end{bmatrix}$ $\mathbf{\theta}=\begin{bmatrix} \theta_{1}\\ ...\\ \theta_{n} \end{bmatrix}$
$X$中每一列为特征，每一行代表一个样本；$Y$为标签；$\theta$是参数
有优化问题：$f(\theta)=\frac{1}{2}\left | \left | X\theta-Y \right | \right |^{2}$
$f(\mathbf{\theta})=\frac{1}{2}(\mathbf{\theta}^{T}X^{T}A\mathbf{\theta}-\mathbf{\theta}^{T}A^{T}Y-Y^{T}A\mathbf{\theta}+Y^{T}Y)$
对函数$f(\theta)$关于参数$\mathbf{\theta}$求偏导：$\frac{\partial f(\mathbf{\theta}))}{\partial \mathbf{\theta}}=A^{T}A\mathbf{\theta}-A^{T}Y=0$
$\mathbf{\theta}=(A^{T}A)^{-1}A^{T}Y$
得到$\mathbf{\theta}$的解析解。

• 加权最小二乘（WLS）：
  加权最小二乘是在普通最小二乘的基础上对每个样本引入权重，调整不同样本误差对损失函数的贡献率。

加权最小二乘法是对原模型进行加权，使之成为一个新的不存在异方差性的模型，然后采用普通最小二乘法估计其参数的一种数学优化技术。
异方差性是相对于同方差而言的。所谓同方差，是为了保证回归参数估计量具有良好的统计性质，经典线性回归模型的一个重要假定：总体回归函数中的随机误差项满足同方差性，即它们都有相同的方差。

$X$、$Y$、$\theta$定义如上，引入对角矩阵$W$
$W=\begin{bmatrix} w_{11} & ... &0 & 0\\ 0 & w_{22} &... &0 \\ ...& ... & ... &... \\ 0& 0& ... & w_{mm} \end{bmatrix}$
损失函数变为：$f(\mathbf{\theta})=\frac{1}{2}\left \| W(X\mathbf{\theta}-Y) \right \|^{2}$
$f(\mathbf{\theta})=\frac{1}{2}(W\mathbf{\theta}^{T}X^{T}A\mathbf{\theta}-W\mathbf{\theta}^{T}A^{T}Y-WY^{T}A\mathbf{\theta}+WY^{T}Y)$

对函数$f(\theta)$关于参数$\mathbf{\theta}$求偏导：$\frac{\partial f(\mathbf{\theta})}{\partial \mathbf{\theta}}=-X^{T}W^{T}WY+X^{T}W^{T}WX\mathbf{\theta}=0$
$\ \mathbf{\theta}=(X^{T}W^{T}WX)^{-1}X^{T}W^{T}WY$

来源：CSDN

作者：小本拉

链接：https://blog.csdn.net/weixin_43038150/article/details/103569467