神经网络拟合连续函数

[亡魂溺海] 提交于 2019-12-05 11:02:58

参考自:https://www.zhihu.com/question/268384579下面的回答。

1.分段线性函数可以拟合任意连续函数,如何理解?

评论里的回答:可以通过让每个分段的长度无穷小来逼近。

//回答中提到了Borel可测函数,搜了一下发现十分复杂,遂中止。

2.含两个隐层神经元的单隐层感知机可以形成脉冲函数,即累计量大于0的话就为1,否则为0(个人理解)。

感知机中的激活函数为,符号判别函数:

 

 总之使用感知机可以通过积分的思想拟合连续函数:

 

 

 

 3.阶梯函数在函数空间是稠密的,所以用连续函数可以逼近可测函数。

 4.通用近似定理

https://zhuanlan.zhihu.com/p/39030338

第一次学习通用近似定理。

 参考:https://www.jianshu.com/p/d27cbfb01711

 5.神经网络是要拟合数据集的一个连续函数的分布,那么衡量这个拟合结果就需要损失函数,损失函数最小,无约束求极值梯度下降,也可以用熵的原理。

  

 

6.浅析 Hinton 最近提出的 Capsule 计划: https://zhuanlan.zhihu.com/p/29435406

 

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!