多元线性回归是最简单的机器学习模型，通过给定的训练数据集，拟合出一个线性模型，进而对新数据做出预测。
对应的模型如下：
n: 特征数量。
一般选取残差平方和最小化作为损失函数，对应为：
M:训练样本数量。
通过最小化代价损失函数，来求得 值，一般优化的方法有两种，第一是梯度下降算法（Gradient Descent），第二种是矩阵法（The normal equations）。
梯度下降算法
给一个初始值，然后逐步的迭代改变的值，是代价损失函数逐次变小，使每次都往梯度下降的方向改变：
表示下降速度。
；
由于每次迭代都需要计算所有样本的残差并加和，因此此方法也叫做批下降梯度法（batch
gradient descent），当有大规模数据时，此方法不太适合，可采取它得一个变种，即每次更新权重时，不是计算所有的样本，而是选取其中一个样本进行计算梯度，这个方法叫做随机下降梯度法（stochastic gradient descent）：
随机下降梯度法与下降梯度法对比可能收敛更快，但是可能找不到最优点而在最优点附近徘徊。
矩阵求解法
由于梯度下降算法需要多次迭代，并且需要指定下降速率，如果下降速度过快则可能错过最优点，如果过慢则需要迭代多次，因此还可选用矩阵法求解。
对于一个函数
，表示一个输入mxn的矩阵，输入为一个实数，即输入x为矩阵，则对此函数求导数为：
即对矩阵中每个元素求导，结果也为一个m*n的矩阵。
如果A为实数a，则 tr a=a。
，
求导数，且：
，
以上即为矩阵法的推导，其中涉及到线性代数的知识没有证明，只要将给定的公式带入求导即可得出此结论。
矩阵法与下降梯度法对比好处是不需要多次迭代，一次计算即可得出精确结果，但当数据量过大时，即设计矩阵X过大时，对矩阵的乘法即求逆有很大计算复杂度，因此此方法适用于小规模数据。另外，用矩阵法时不需要对输入特征数据中心化。