参考自:https://www.zhihu.com/question/268384579下面的回答。
1.分段线性函数可以拟合任意连续函数,如何理解?
评论里的回答:可以通过让每个分段的长度无穷小来逼近。
//回答中提到了Borel可测函数,搜了一下发现十分复杂,遂中止。
2.含两个隐层神经元的单隐层感知机可以形成脉冲函数,即累计量大于0的话就为1,否则为0(个人理解)。
感知机中的激活函数为,符号判别函数:
总之使用感知机可以通过积分的思想拟合连续函数:
3.阶梯函数在函数空间是稠密的,所以用连续函数可以逼近可测函数。
4.通用近似定理
https://zhuanlan.zhihu.com/p/39030338
第一次学习通用近似定理。
参考:https://www.jianshu.com/p/d27cbfb01711
5.神经网络是要拟合数据集的一个连续函数的分布,那么衡量这个拟合结果就需要损失函数,损失函数最小,无约束求极值梯度下降,也可以用熵的原理。
6.浅析 Hinton 最近提出的 Capsule 计划: https://zhuanlan.zhihu.com/p/29435406