最小二乘法

假设有一组样本数据，我们用一个函数去拟合它。由于实验数据有误差，不能够达到y_k = f(x_k)。这个时候就会产生偏差。

偏差表示为r_k = y_k - f(x_k)，可由偏差平方和最小来确定函数f(x)。我们希望偏差尽量小，尽量接近于函数f(x_k)。

因为这些偏差中有正有负，我们不能冒昧的直接求这些偏差的和，所以我们使用偏差的平方和来表示函数f(x_k)的总偏差。

于是问题就转化成了min \sum_{i=0}^n[y_i-f(x_i)]^2。

这就是最小二乘法。

假设数据点分布 近似一条直线时，确定a, b，使y =ax + b满足

M(a,b) = min_{a,b} \sum_{k=0}^n(y_k + ax_k - b)^2

令

1、\frac {\sigma M}{\sigma a} = -2\sum_{k=0}^n(y_k - ax_k - b)x_k = 0

2、\frac {\sigma M}{\sigma b} = -2\sum_{k=0}^n(y_k - ax_k - b) = 0

通过计算确定某些经验公式类型的方法：

1）若\deta y_i / \deta x_i 约等于 定值，则考虑y = ax + b

2）若\deta lin y_i / \deta lin x_i 约等于 定值， 则考虑 y = ax^b

3）若\deta ln y_i /  \deta x_i 约等于 定值，则考虑 y = ae^{bx}

来源：oschina

链接：https://my.oschina.net/u/3280685/blog/3189812