神经网络的概念

文章目录

• 1.前馈神经网络
• 2.大名鼎鼎的BP算法

1.前馈神经网络

• 与数据往前流有关，数据从输入开始，流过中间计算过程，最终到达输出层。模型的+ 输入和输出本身没有反馈。
• 前馈神经网络包括单层感知机、多层感知机、卷积神经网络Feedforward Neural Network
• 反馈神经网络:例循环神经网络RNN
• 神经网络的万能近似定理 如线性模型，SVM，集成学习都可通过神经网络实现
• 深度学习中的深是指神经网络的层数比较深
• 简单神经元结构:其间箭头称为连接。每个连接上面都有一个权值，一个神经网络算法就是将权重调整最佳使得整个网络的预测效果最好
• 输入x权值w 首先对所有输入信号进行线性加权，z=x*w+b称为所有输入信号
  函数f(z)为激活函数，将数据压缩到一个范围之内，并保持特征数据之间的差异性，其值将决定神经元是否激活
• 简单感知机 一条神经元 对于线性可分或者近似线性可分数据集有较好的结果，但是对线性不可分的数据分类结果比较差

2.大名鼎鼎的BP算法

• 由前向传播确定节点与前面节点的函数关系,确定loss_function,最后由链式法则求出$\displaystyle \frac{\partial\ lossfunction}{\partial w}$和$\displaystyle \frac{\partial lossfunction}{\partial b}$
  再根据梯度优化算法，更新各权重和偏移量，然后再根据优化之后的参数前向传播，计算输出值及代价函数值
  如果满足要求结束迭代，如果不满足继续上述过程

来源：CSDN

作者：分别，是为了更好的相遇。

链接：https://blog.csdn.net/weixin_43310853/article/details/104571620