深度学习入门整理学习（一）

深度学习入门

近期在学习深度学习的相关知识，作为一个深度学习小白，《深度学习：从入门到实战》这本书确实对于我来说非常适合，前期铺垫较为精明，并且在开始时不只是挖掘深度学习本身上，对深度学习的发展历程也有一定介绍，在明白了深度学习是什么、解决什么样的问题后再进行逐步讲解，实在对于学生的我再适合不过，下面我将我学习时的一部分笔记和自己的理解进行张贴，希望对大家和我都有所帮助。

明确机器学习适合做什么？

（1）具有明确的输入和输出，能够通过学习分类或者预测的功能来完成的任务，但是机器学习可能不是因果关系，而是一种统计关联关系。

（2）具有大型数据集或者可以创建包含输入-输出对的大型数据集的任务。

（3）具有明确的目标和量度标准，并可以提供清晰反馈的任务。

（4）不需要大量知识背景或者长逻辑链推理的任务。

（5）不需要对于决策过程进行解释的任务，这是因为深度学习属于可统计的而不可解释的范畴。

（6）不需要完全精确，能够容忍错误

（7）不需要随时间迅速变化的任务，即训练样本和测试样本之间差异不大的任务

（8）不需要灵巧、运动或机动性的任务。

人工智能学派之争

（1）符号主义。用符号进行逻辑与机器推理，实现一些知识的机器证明，处理知识表示、知识推理和知识运用等问题。

（2）连接主义。用大量神经元的组合实现人脑功能，期望创造一个通用网络模型，然后通过数据训练，不断改善模型中的参数，直到达到预期的输出结果。

（3）行为主义。强调智能在工程的可实现性和控制论思想。

深度学习举例

天气预报深度神经网络

（1）数据输入。基本参量：气压、湿度、风速。

（2）深度神经网络模型。具有大量网络权重连接的神经元构成的多层次网络结构。

（3）数据输出。预测结果。
在这里插入图片描述

在简化神经网络中进行解释，每两个神经元之间都有一个权重，表明上一层输出对于下一层输入的重要程度。一般情况下，网络的初始权重随机设定，根据不同的需求，某个输入元素重要性越高，该神经元对应的连接权重就越高。

每个神经元都可以对应一个激活函数，简言之，激活函数就是模拟信息在神经元之间传递的激活或者抑制状态。当信息达到了激活函数的阈值，该信息将神经元激活，否则神经元处于抑制状态。激活函数的另一个作用是将神经元的输出标准化，防止输出信息过度膨胀。

深度与学习

深度学习中的“深度”，与传统机器学习的浅层相对应，在神经网络处于“低谷”时期，以支持向量机（SVM）为代表的浅层学习是机器学习的主流。然而浅层学习隐层数量有限，对复杂函数的拟合能力不强，同时大量的特征工程领域知识进一步限制了其推广与应用。而深度学习模拟原始信号的低级抽象到高级抽象的迭代过程，与人类的逻辑思维方式高度一致。

减小损失函数的方法

度量输出数据和真实数据差异的问题，根本途径就是通过不断改变神经元之间的权重等参数来减小损失函数。最容易理解的方式就是岁间改变权重等参数直至损失函数足够小，但是该方法效率最低，随机性大，目前广泛使用的就是梯度下降法。在每次数据迭代之后，该方法以使目标值下降最快的方式改变网络权重，而这种使得函数下降最快的方式就是用梯度来确定函数最快的下降方向，这样就可以知道最小值在哪个方向。

为了使得损失函数不断趋近于零，需要计算梯度和步长，即学习效率，来多次迭代数据集，这就是最消耗计算和存储能力的部分。有时为了解决梯度下降可能拘泥于局部最小值的情况，使用随机梯度下降的方式增加算法的随机性，提高跳出局部最小值的能力。