人工神经网络(ANN)模型简介

作为深度学习的基础，神经网络模型发挥着很重要的作用。

我们来看一下ANN的定义：

神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所作出交互反应。

我们知道，生物神经网络的简单单元由生物神经元组成，那么在ANN模型中，简单单元由什么组成呢？

在经典ANN模型中，简单单元，即M-P神经元模型。我们知道感知机和Logistic回归都是线性分类模型，它们的不同点在于分类函数的选取是不一样的。
我们令z=wTx$z=w^{T}x$。感知机的分类决策函数：f(x)=g(z)=sign(z)$f(x)=g(z)=sign(z)$
其中sign()$sign()$为阶跃函数：sign(z)=1ifz≥0else1$sign(z)=1ifz\ge 0else1$
Logistic回归的分类决策函数则是Sigmoid函数：f(x)=g(z)=11+ez$f(x)=g(z)=\frac{1}{1+e^z}$，它表示的是将样本分类成正例和负例的几率比。也是一个阶跃函数的替代函数。

具体地请参考我的博客
https://blog.csdn.net/wuyanxue/article/details/80205582

典型的M-P神经元模型的输入与输出和Logistic回归一样，不过在这里Sigmoid是作为激活函数而存在的。也就是说，Sigmoid表示的只是一个神经元的输出，不代表整个ANN的输出。一张图形象地表示该MP神经元：

我们知道生物神经网络是由非常多的生物神经元连接而成。类似地，ANN也是由多个神经元模型按照一定的规则连接构成。下图展示了一个全连接（Full Connected, FC）神经网络（FC-NN）：

我们可以发现FC-NN具有以下特点：
1. 神经元按照层来布局。如上图，最左边称为输入层（Input layer），中间称为隐藏层（Hidden layer），最右边称为输出层（Output layer）
2. 同一层的神经元没有连接。
3. 第N层的每个神经元都第N-1层的所有神经元连接（这就是Full connected的含义），第N-1层神经元的输出就是第N层神经元的输入。
4. 每个神经元的连接都具有一个权值。注意到，这里的X=(x1,x2,x3)$X=(x_1,x_2,x_3)$表示的是一个输入向量，Y=(y1,y2)$Y=(y_1,y_2)$表示的是输出向量。
5. 另外，隐藏层可以是多层。
为了统一符号，我们假设一个输入向量为x$x$，输出向量为y$y$。
令
w4=(w41,w42,w43)T$w_4=(w_{41},w_{42},w_{43}{)}^T$
w5=(w51,w52,w53)T$w_5=(w_{51},w_{52},w_{53}{)}^T$
w6=(w61,w62,w63)T$w_6=(w_{61},w_{62},w_{63}{)}^T$
w7=(w71,w72,w73)T$w_7=(w_{71},w_{72},w_{73}{)}^T$
W1=(w4,w5,w6,w7)$W_1=(w_4,w_5,w_6,w_7)$
a=(a4,a5,a6,a7)T$a=(a_4,a_5,a_6,a_7{)}^T$
那么隐藏层的值为：
a=f(WT1x)$a=\mathbf{f}(W_1^{T}x)$，其中f(z)=(f(z1),…,f(zn))T$\mathbf{f}(z)=(f(z_1),\dots ,f(z_n){)}^T$，而f()$f()$为Sigmoid函数。
又令
w8=(w81,w82,w83,w84)T$w_8=(w_{81},w_{82},w_{83},w_{84}{)}^T$
w9=(w91,w92,w93,w94)T$w_9=(w_{91},w_{92},w_{93},w_{94}{)}^T$
W2=(w8,w9)$W_2=(w_8,w_9)$
那么输出层的值为：
y=f(WT2a)$y=\mathbf{f}(W_2^{T}a)$

现在，我们知道了在FC-NN中的每个神经元输入输出的计算方法。那么如何来训练呢？

继续更新。。。。

文章来源: 人工神经网络(ANN)模型简介