第二章 预备知识
2.1激活函数
激活函数也就是人工神经网络的神经元上运行的函数。
理论上可以是非线性的，但一般选非线性的。如sigmod函数，双曲正切函数，硬限幅函数，斜面函数等等
2.2矩阵运算
包括转置，旋转，乘积，加减法，阿达马积，克罗内克积，逐元函数。
2.3导数函数
包括sigmoid函数等的导数
2.4梯度下降算法
在无约束条件下计算出可微函数极小值的基本方法。负梯度方向就是函数此时下降最快的方向。
梯度下降算法一般线性收敛，速度通常较慢。
2.5反向传播算法
深度神经网络的基本学习训练方法是反向传播算法。
本质上是具有递归结构的梯度下降算法，往往需要给出足够多的训练样本才能获得满意的效果。
理解方向传播算法的基础是：任意前馈神经网络的通用反向传播算法和深层神经网络的逐层反向传播算法。
2.5.1通用反向传播算法https://yq.aliyun.com/articles/89551