《深度学习中的数学》之神经网络的思想

孤者浪人 提交于 2020-02-06 10:35:47

原文链接https://www.toutiao.com/a6688175496821211662/

本文简单解释了神经网络的来源以及神经网络中的输出原理
深度学习是人工智能中一种具有代表性的实现方法。
谈到神经网络的想法,需要从生物学上的神经元(neuron)开始说起。
从生物学的扎实的研究成果中,我们可以得到以下关于构成大脑的神经元的知识。
(i) 神经元形成网络。
(ii) 对于从其他多个神经元传递过来的信号,如果它们的和不超过
某个固定大小的值(阈值),则神经元不做出任何反应。
(iii) 对于从其他多个神经元传递过来的信号,如果它们的和超过某
个固定大小的值(阈值),则神经元做出反应(称为点火),向
另外的神经元传递固定强度的信号。
(iv) 在 (ii) 和 (iii) 中,从多个神经元传递过来的信号之和中,每个信
号对应的权重不一样。
在这里插入图片描述
将神经元的工作在数学上抽象化,并以其为单位人工地形成网络,这样的人工网络就是神经网络。将构成大脑的神经元的集合体抽象为数学模型,这就是神经网络的出发点。
最后,我们用数学方式来表示点火的判定条件。
从 (i) 和 (ii) 可知,神经元点火与否是根据来自其他神经元的输入信号的和来判定的,但这个求和的方式应该不是简单的求和。例如在网球比赛中,对于来自视觉神经的信号和来自听觉神经的信号,大脑是通过改变权重来处理的。因此,神经元的输入信号应该是考虑了权重的信号之和。用数学语言来表示的话,例如,来自相邻神经元 1、2、3 的输入信号分别为 x 1 、x 2 、x 3 ,则神经元的输入信号之和可以如下表示。
在这里插入图片描述
式中的 w 1 、w 2 、w 3 是输入信号 x 1 、x 2 、x 3 对应的权重(weight)。
根据 (ii),神经元在信号之和超过阈值时点火,不超过阈值时不点火。于是,利用式 (1),点火条件可以如下表示。
在这里插入图片描述
这里,θ 是该神经元固有的阈值。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!