Machine Learning第二课

本节课的主题

（1）Linear Regression

（2）Gradient Descent

（3）Normal Equation

l Linear Regression

这节课用一个房价预测的例子来完整的过一遍有监督机器学习中预测模型的数学基础和数学理论支持。

首先先约定公式中的Notation：

m	训练集合中的样本个数
x	输入变量或特征
y	输出变量或目标结果
(x,y)	表示一个样本
()	表示第i个样本

然后我们来看房价预测的例子，假设我们已知房子的大小以及其对应的价格，那么我们可以在二维空间上做出下面的图示。

问题是给出某个size预测对应的price，对于这个问题，根据上节课学到的知识，我们知道这是一个有监督学习问题，因为每个样本中都有明确的输入和输出，同时它又是一个回归问题，我们需要预测出一个实数，一个price值。确定了问题的一些特征后，我们接下来一个重要的工作便是考虑用什么数学模型或者hypothesis来表示这个问题。

而这个问题，我们如何来表示h？我们发现图中的点似乎都逼近于一条直线(当然更像是一个二次函数)，然后我们尝试用最简单的数学模型：线性模型来表示这个h，所以

如果我们发现还有其他输入如房间个数，那么线性方程则变为，我们可以假设=1，所以

那么我们的问题就转化为，根据已有的(x,y)对，代入上式，选择适当的参数来使得最终的线性方程有最佳的预测效果。

选择或者说是学习参数实际上是机器学习中Cost Function的设计过程。在这里，我们可以使用最小二乘法作为cost function（当然可以选用其他的cost function），假设该函数为J(.)，那么针对上面例子，cost function为

将每个样本输入x通过h得到的结果与实际结果y做差值的平方，最终我们需要得到的是使得J(.)在所有样本集上误差最小的参数，即

实际上，根据我们的高中的数学知识，我们就可以知道，在上述函数J这个二次函数中（，肯定存在最小值，并且就是该方程的极小值。（上一张Angrew Ng的课件图就明白了，注意到这里我们让，如果不为一，那么最终的图形是在三维空间里的碗型）

好了，实际上我们不会得到这么完美的图形，因为实际数据不可能完美的与选用的数学模型完全重合或匹配，数据会有偏离或者偏差。

然后我们考虑如果继续引入新的feature，即新的x如刚才说到的，那么也就会带来新的的，那如何来求一个多变量的函数的最小值？嗯，没错，就是你大学里所学到的偏导数。Gradient descent（梯度下降）本质上就是求偏导的过程。

l Gradient Descent

梯度下降是一个一阶最优化的算法，这个算法是一个不断迭代的过程，每次迭代时都会选择负梯度最大的方向进行下降，使得待优化的目标函数可以快速达到优化收敛最优值，最简单是形式是：

假设关于（只有一个参数的情况下）的代价函数是，初始化=，并且该函数在是可微分的，那么函数在点沿着梯度相反方向的下降速度最快（这里用来控制下降速度的影响）。然后到达新的点即，继续迭代执行上述步骤，直到收敛到期望的极值（当有多个参数，即存在时，每个迭代过程是simultaneous的，不是利用的结果来更新，而是同时进行更新）。上面的过程可以简单的用下面这幅图来说明梯度下降的过程：

这里假设定义在平面上，并且函数图像是一个碗形。蓝色的曲线是等高线(水平集)，即函数为常数的集合构成的曲线。红色的箭头指向该点梯度的反方向。（一点处的梯度方向与通过该点的等高线垂直）。沿着梯度下降方向，将最终到达碗底，即函数值最小的点。

但是很明显Gradient Descent有一个问题就是初始点的选取，不同的起始下降点会导致不同的最优化下降结果，因为很多时候问题不存在或者没有条件得到一个全局的最优值，而且GD本质上用了贪婪思想，每次迭代都取目前认知的最大梯度方向进行下降，最终我们也只能用局部最优值来近似我们期望的全局最优，所以这也是梯度下降的缺点：容易陷入局部最优和初值敏感。下图为两个不同起始点的下降结果，可以看到第一个点的下降结果比较好。

在这里我们还注意到这里的优化函数在梯度函数前还有另一个变量，这个变量就是learning rate，从公式上我们不难推理它实际上是用来控制下降的速度的，也就是说这个梯度下降的结果需要乘上这个rate后才是最终的下降结果，不同的下降速度其实就会影响到下一个点的选择问题（如上图），如果下降速度快了，那么下降的步长也就大了，那么其中一些可能引导到更小值的起始点就被抛弃了，如果下降速度慢了，首先计算开销增大整个迭代过程会变得很慢，同时噪声的影响就被放大，这个learning rate的选择也是机器学习中一个比较需要经验性和依赖数据的选择过程，最终如何判定收敛也是如此。