最小二乘法

起源 起源：最小二乘法源于天文学和大地测量学领域。因为这两个领域对精度的高要求而被发明。 1801年，意大利天文学家朱塞普·皮亚齐发现了第一颗小行星谷神星。进行了40天的跟踪观测后，但由于谷神星运行到太阳背后，失去了具体位置信息。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，这个高斯正是著名数学家 卡尔·弗里德里希·高斯 ，没错就是我们大学数学认识的那个高斯。 机器学习本质其实就是求最优解的过程，最小二乘法是回归算法中求最优解的方法之一，还有一个是梯度下降法，以后会讲~。 思考 我们在正式讲最小二乘法之前，读者大大们可以想下下面这个问题临近中秋，小明想要自己做月饼，现在已知五种规格月饼所需的面粉重量如下： 月饼重量(g) 面粉重量(g) 30 20 100 81 80 110 190 90 220 180 现在小明想做规格为140g的月饼，请问他需要多少克月饼现在读者大大们根据平时经验，可以思考下怎么求。九年义务教育让我看见这种题目就条件反射列方程求未知数，不知道读者大大们是不是也是这样~ 原理

最小二乘法（又称最小平方法）是一种优化方法。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。下面简单列举两个实例来让人更好的理解。 第一种情况：这是拟合为直线的方程 第二种情况：这是拟合为曲线的方程 来源： https://www.cnblogs.com/strangemonkey/p/11391478.html

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/MarsJohn/article/details/54911788 在数据的统计分析中，数据之间即变量x与Y之间的相关性研究非常重要，通过在直角坐标系中做散点图的方式我们会发现很多统计数据近似一条直线，它们之间或者正相关或者负相关。虽然这些数据是离散的，不是连续的，我们无法得到一个确定的描述这种相关性的函数方程，但既然在直角坐标系中数据分布接近一条直线，那么我们就可以通过画直线的方式得到一个近似的描述这种关系的直线方程。当然，从前面的描述中不难看出，所有数据都分布在一条直线附近，因此这样的直线可以画出很多条，而我们希望找出其中的一条，能够最好地反映变量之间的关系。换言之，我们要找出一条直线，使这条直线“最贴近”已知的数据点，设此直线方程为： 这里的是为了区分Y的实际值y（这里的实际值就是统计数据的真实值，我们称之为观察值），当x取值(i=1，2，3……n)时，Y的观察值为，近似值为（或者说对应的纵坐标是）。 其中式叫做Y对x的回归直线方程，b叫做回归系数。要想确定回归直线方程，我们只需确定a与回归系数b即可。 设x，Y的一组观察值为： i = 1，2，3……n 其回归直线方程为： 当x取值(i=1，2，3……n)时