前馈神经网络

导语：递归网络是一类人工神经网络，用于识别诸如文本、基因组、手写字迹、语音等序列数据的模式，或用于识别传感器、股票市场、政府机构产生的数值型时间序列数据。 递归神经网络入门教程 引言 递归神经网络是一类人工神经网络，可用于识别诸如文本、基因组、手写字迹、语音等序列数据的模式，也可用于识别传感器、股票市场、政府机构产生的数值型时间序列数据。递归网络可以说是最强大的神经网络，甚至可以将图像分解为一系列图像块，作为序列加以处理。由于递归网络拥有一种特定的记忆模式，而记忆也是人类的基本能力之一，所以下文会时常将递归网络与人脑的记忆活动进行类比。 前馈网络回顾 要理解递归网络，首先需要了解前馈网络的基础知识。这两种网络的名字都来自于它们通过一系列网络节点数学运算来传递信息的方式。前馈网络将信息径直向前递送（从不返回已经过的节点），而递归网络则将信息循环传递。 在前馈网络中，样例输入网络后被转换为一项输出；在进行有监督学习时，输出为一个标签。也就是说，前馈网络将原始数据映射到类别，识别出信号的模式，例如一张输入图像应当给予“猫”还是“大象”的标签。 我们用带有标签的图像定型一个前馈网络，直到网络在猜测图像类别时的错误达到最少。将参数，即权重定型后，网络就可以对从未见过的数据进行分类。已定型的前馈网络可以接受任何随机的图片组合，而输入的第一张照片并不会影响网络对第二张照片的分类

前馈神经网络—BP算法 简要介绍： 神经元模型：一个神经元接受多个输入，其自身有一个阈值，输入的强度达到阈值，便会兴奋，输出1，达不到便不兴奋输出0. 其数学模型是 y = f ( ∑ i = 1 n w i x i − θ ) y=f(\sum_{i=1}^nw_ix_i-\theta) y = f ( i = 1 ∑ n ​ w i ​ x i ​ − θ ) 其中 f f f 为激励函数，有多种， 1 .sigmod函数 f ( x ) = 1 1 + e − x f(x)=\frac{1}{1+e^-x} f ( x ) = 1 + e − x 1 ​ 2 .Relu函数 f ( x ) = m a x ( x , 0 ) f(x)=max(x,0) f ( x ) = m a x ( x , 0 ) 3 .softmax函数 f ( x ) = e y i ∑ e y i f(x)=\frac{e^{y_i}}{\sum e^{y_i}} f ( x ) = ∑ e y i ​ e y i ​ ​ 神经网 包括输入层：只负责输入，不负责运算 隐层：运算 输出层：运算且输出，输出层和隐层算上层数 神经元之间是全连接，用突触连接，每个突触有一个权重 参数 对于一个神经网络而言，每个神经元的阈值 θ \theta θ ，每一条突触的权重 W W W 都是参数 神经网络的本质

6.1 XOR例子 对于如图所示的异或问题，简单的单层线性函数 f ( x , w , b ) = x T w + b f(x,w,b)=x^Tw+b f ( x , w , b ) = x T w + b 无法解决异或问题； 解决办法是增加深度，即加入隐层单元h； h = f ( 1 ) ( x , W , c ) , y = f ( 2 ) ( h , w , b ) h=f^{(1)}(x,W,c),y=f^{(2)}(h,w,b) h = f ( 1 ) ( x , W , c ) , y = f ( 2 ) ( h , w , b ) ，完整版的模型是 f ( x , W , c , w , b ) = f ( 2 ) ( f ( 1 ) ( x ) ) f(x,W,c,w,b)=f^{(2)}(f^{(1)}(x)) f ( x , W , c , w , b ) = f ( 2 ) ( f ( 1 ) ( x ) ) 。 f ( 1 ) f^{(1)} f ( 1 ) 应该是哪种函数？线性模型到目前为止都表现不错，让 f ( 1 ) f^{(1)} f ( 1 ) 也是线性的似乎很有诱惑力。可惜的是，如果 f ( 1 ) f^{(1)} f ( 1 ) 是线性的。那么前馈网络作为一个整体对于输入仍然是线性的。暂时忽略截距项，假设 f ( 1 ) ( x ) = W T

前置神经网络是 是BP,CNN,RNN 的基础 ， 先留个接口。后面再补充自己思考的内容。 参考： 深度学习笔记（1）--前馈神经网络 wiki 百科前馈神经网络 code： https://github.com/yunjey/pytorch-tutorial/blob/master/tutorials/01-basics/feedforward_neural_network/main.py#L37-L49 来源： CSDN 作者： weixin_42528089 链接： https://blog.csdn.net/weixin_42528089/article/details/103455415

🚙 Index 多层感知机（MLP）介绍 深度神经网络的激活函数 深度神经网络的损失函数 多层感知机的反向传播算法 神经网络的训练技巧 深度卷积神经网络 前馈神经网络（feedforward neural network）是一种最简单的 神经网络 ，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。是目前应用最广泛、发展最迅速的 人工神经网络 之一。研究从20世纪60年代开始，目前理论研究和实际应用达到了很高的水平 ——百度百科 而深度学习模型，类似的模型统称是叫 深度前馈网络（Deep Feedforward Network） ，其目标是拟合某个函数f，由于从输入到输出的过程中不存在与模型自身的反馈连接，因此被称为“前馈”。常见的深度前馈网络有：多层感知机、自编码器、限制玻尔兹曼机、卷积神经网络等等。 01 多层感知机（MLP）介绍 说起 多层感知器（Multi-Later Perceptron） ，不得不先介绍下 单层感知器（Single Layer Perceptron） ，它是最简单的神经网络，包含了输入层和输出层，没有所谓的中间层（隐含层），可看下图： 也就是说，将输入向量赋予不同的权重向量，整合后加起来，并通过激活函数输出1或-1，一般单层感知机只能解决线性可分的问题，如下图： 我选择了0个隐含层

代码如下 import numpy as np import math class Neuron(object): def init (self): self.weights=np.array([1,2,3]) self.bias=0.0 def forward(self,inputs): cell_sum=math.fsum((inputs*self.weights)+self.bias) result=1.0/(math.exp(-cell_sum)+1.0) return result neuron=Neuron() output=neuron.forward(np.array([2.0,2.0,2.0])) print(output) 编写了一个简单的神经元输出节点，尤其注意fsum函数是最新语法，不能再用sum调用否则会报错 来源：博客园 作者： MorvalHe 链接：https://www.cnblogs.com/morvalhe/p/11508382.html

深度前馈网络 前向 网络 隐藏层 神经 1 学习XOR 2 基于梯度的学习 代价函数 输出单元 用于高斯输出分布的线性单元 基于伯努利输出分布的 sigmoid 单元 用于multinouli 输出分布的softmax单元 3 隐藏单元 整流线性单元及其扩展 4 架构设计 5 反向传播 和其他微分算法 6 历史小计 前向 信息流过 x 的函数，流经用于 定义 f 的中间计算过程，最终到达输出 y。 网络 前馈神经网络被称作网络 (network) 是因为它们通常用许多不同函数复合 在一起来表示。 隐藏层 训练数据并没有给出 这些层中的每一层所需的输出，所以这些层被称为隐藏层 (hidden layer)。 神经 这些网络被称为神经网络是因为它们或多或少地受到神经科学的启发。 我们最好将前馈神经网络想成是为了实现统计泛化而设计出 的函数近似机器，它偶尔从我们了解的大脑中提取灵感但是并不是大脑功能的模型。 1 学习XOR XOR 函数(‘‘异或’’ 逻辑)是两个二进制值 x1 和 x2 的运算。这些二进制值 中恰好有一个为 1 时，XOR 函数返回值为 1。其余情况下返回值为 0。 2 基于梯度的学习 代价函数 深度神经网络设计中的一个重要方面是代价函数的选择。幸运的是，神经网络的代价函数或多或少是和其他参数模型例如线性模型的代价函数相同的 输出单元