一、线性回归

主要内容：
1.线性回归的解释
2.线性回归模型的基本要素
3.线性回归模型的两种实现方式

1.线性回归的解释

线性回归，就是能够用一个直线较为精确地描述数据之间的关系。这样当出现新的数据的时候，就能够预测出一个简单的值。线性回归中最常见的就是房价的问题。一直存在很多房屋面积和房价的数据，如下图所示：
在这里插入图片描述
在这种情况下，就可以利用线性回归构造出一条直线来近似地描述放假与房屋面积之间的关系，从而就可以根据房屋面积推测出房价。
线性回归输出是一个连续值，因此适用于回归问题。回归问题在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。与回归问题不同，分类问题中模型的最终输出是一个离散值。我们所说的图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。softmax回归则适用于分类问题。
由于线性回归和softmax回归都是单层神经网络，它们涉及的概念和技术同样适用于大多数的深度学习模型。

2.线性回归模型的基本要素

2.1 模型

为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系:
在这里插入图片描述

2.2 模型训练

接下来我们需要通过数据来寻找特定的模型参数值，使模型在数据上的误差尽可能小。这个过程叫作模型训练（model training）。下面我们介绍模型训练所涉及的3个要素。

2.2.1 数据集

我们通常收集一系列的真实数据，例如多栋房屋的真实售出价格和它们对应的面积和房龄。我们希望在这个数据上面寻找模型参数来使模型的预测价格与真实价格的误差最小。在机器学习术语里，该数据集被称为训练数据集（training data set）或训练集（training set），一栋房屋被称为一个样本（sample），其真实售出价格叫作标签（label），用来预测标签的两个因素叫作特征（feature）。特征用来表征样本的特点。

2.2.2 损失函数

模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。一个常用的选择是平方函数。它在评估索引为 i 的样本误差的表达式为
在这里插入图片描述

2.2.3 优化函数 - 随机梯度下降

当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来。这类解叫作解析解（analytical solution）。本节使用的线性回归和平方误差刚好属于这个范畴。然而，大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解（numerical solution）。

在求数值解的优化算法中，小批量随机梯度下降（mini-batch stochastic gradient descent）在深度学习中被广泛使用。它的算法很简单：先选取一组模型参数的初始值，如随机选取；接下来对参数进行多次迭代，使每次迭代都可能降低损失函数的值。在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量（mini-batch） B ，然后求小批量中数据样本的平均损失有关模型参数的导数（梯度），最后用此结果与预先设定的一个正数的乘积作为模型参数在本次迭代的减小量。在这里插入图片描述
学习率: η 代表在每次优化中，能够学习的步长的大小
批量大小: B 是小批量计算中的批量大小batch size

总结一下，优化函数的有以下两个步骤：
(i)初始化模型参数，一般来说使用随机初始化；
(ii)我们在数据上迭代多次，通过在负梯度方向移动参数来更新每个参数。

2.3 模型预测

模型训练完成后，我们将模型参数在优化算法停止时的值分别记录。注意，这里我们得到的并不一定是最小化损失函数的最优解，而是对最优解的一个近似。然后，我们就可以使用学出的线性回归模型来估算训练数据集以外任意一栋面积（平方米）为 area 、房龄（年）为 age 的房屋的价格了。这里的估算也叫作模型预测、模型推断或模型测试。

3.线性回归模型的两种实现方式

方式一：从零开始的实现（推荐用来学习），能够更好的理解模型和神经网络底层的原理
方式二：使用pytorch的简洁实现，能够更加快速地完成模型的设计与实现
代码与讲解链接：添加链接描述

习题练习：
在这里插入图片描述

二、Softmax与分类模型

线性回归模型适用于输出为连续值的情景。在另一类情景中，模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题，我们可以使用诸如softmax回归在内的分类模型。和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训练。本节以softmax回归模型为例，介绍神经网络中的分类模型。

主要内容：
1.softmax回归的基本概念
2.softmax回归模型的两种实现，实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型

1.softmax回归的基本概念

1.1分类问题

一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。
图像中的4像素分别记为x1, x2, x3, x4。
假设真实标签为狗、猫或者鸡，这些标签对应的离散值为y1, y2, y3。
我们通常使用离散的数值来表示类别，例如y1=1, y2=2, y3=3。

1.2权重矢量

在这里插入图片描述

1.3神经网络图

下图用神经网络图描绘了上面的计算。softmax回归同线性回归一样，也是一个单层神经网络。由于每个输出o1, o2, o3的计算都要依赖于所有的输入x1, x2, x3, x4，softmax回归的输出层也是一个全连接层。
在这里插入图片描述

1.4输出问题

直接使用输出层的输出有两个问题：
1.一方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。例如，刚才举的例子中的输出值10表示“很置信”图像类别为猫，因为该输出值是其他两类的输出值的100倍。但如果o1=o3=10^3，那么输出值10却又表示图像类别为猫的概率很低。
2.另一方面，由于真实标签是离散值，这些离散值与不确定范围的输出值之间的误差难以衡量。
softmax运算符（softmax operator）解决了以上两个问题。它通过下式将输出值变换成值为正且和为1的概率分布：在这里插入图片描述
其中

因此softmax运算不改变预测类别输出。

1.4计算效率

1.4.1单样本矢量计算表达式

为了提高计算效率，我们可以将单样本分类通过矢量计算来表达。在上面的图像分类问题中，假设softmax回归的权重和偏差参数分别为
在这里插入图片描述
设高和宽分别为2个像素的图像样本i的特征为

输出层的输出为

预测为狗、猫或鸡的概率分布为

softmax回归对样本i分类的矢量计算表达式为

1.4.2小批量矢量计算表达式

在这里插入图片描述

1.5交叉熵损失函数

在这里插入图片描述
改善上述问题的一个方法是使用更适合衡量两个概率分布差异的测量函数。其中，交叉熵（cross entropy）是一个常用的衡量方法：

1.6模型训练和预测

在训练好softmax回归模型后，给定任一样本特征，就可以预测每个输出类别的概率。通常，我们把预测概率最大的类别作为输出类别。如果它与真实类别（标签）一致，说明这次预测是正确的。我们将使用准确率（accuracy）来评价模型的表现。它等于正确预测数量与总预测数量之比。

2.softmax回归模型的两种实现

方式一：从零开始实现，实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型
方式二：使用pytorch重新实现softmax回归模型
代码与讲解链接：添加链接描述
帮助理解softmax函数的博客：添加链接描述

习题练习：
在这里插入图片描述

三、多层感知机

我们已经介绍了包括线性回归和softmax回归在内的单层神经网络。然而深度学习主要关注多层模型。我们将以多层感知机（multilayer perceptron，MLP）为例，介绍多层神经网络的概念。
主要内容：
1.多层感知机的基本知识
2.使用多层感知机图像分类的两种实现

1.多层感知机的基本知识

1.1隐藏层

多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。
下图展示了一个多层感知机的神经网络图，它含有一个隐藏层，该层中有5个隐藏单元。
在这里插入图片描述

1.2激活函数

上述问题的根源在于全连接层只是对数据做仿射变换（affine transformation），而多个仿射变换的叠加仍然是一个仿射变换。解决问题的一个方法是引入非线性变换，例如对隐藏变量使用按元素运算的非线性函数进行变换，然后再作为下一个全连接层的输入。这个非线性函数被称为激活函数（activation function）。
下面我们介绍几个常用的激活函数：

ReLU函数
ReLU（rectified linear unit）函数提供了一个很简单的非线性变换。给定元素 x ，该函数定义为
在这里插入图片描述
可以看出，ReLU函数只保留正数元素，并将负数元素清零。

Sigmoid函数
sigmoid函数可以将元素的值变换到0和1之间：
在这里插入图片描述
tanh函数
tanh（双曲正切）函数可以将元素的值变换到-1和1之间：

当输入接近0时，tanh函数接近线性变换。虽然该函数的形状和sigmoid函数的形状很像，但tanh函数在坐标系的原点上对称。