强人工智能基本问题:神经网络分层还是不分层
版本: 0.1 现代的大部分机器学习的算法将神经元分出了清晰的层次。所谓分层,即将神经元分为几层(也可认为是几组)。每层内的神经元没有联系,相邻的层与层之间的神经元会有两两的联系,从而形成一个关系矩阵。非相邻层的神经元之间没有联系。这里的相邻指的是神经元层次之间的关系,每层神经元有一层或者前后两层相邻。 一般神经网络的算法的神经元层数是有限的,一般是两三层。在理论上,三层神经元(包括输入、输出和隐含层,除去输入输出,也可算做只有一层)就足以解决所有问题了,因为中间的隐含层能够表达所有函数。但这只是数学上的可能性,实际中如果只用一个隐含层来实现人类智能,需要的节点数量估计近似于无穷。 增加神经网络的层数,如同从加法到乘法、指数一样,抽象出类似的层次,进行归纳,从而减小问题的计算复杂性。人的大脑对信息的加工其实也是分层次的。比如对语言的听觉处理,先有有种频率,振幅的层次,然后是频率的变化,不同频率的组合的层次,再往后是音节层次,随后到了词汇层次。最后产生到我们能感觉到的信息层次和粒度,包括谁在说话,说的什么意思,心情如何等。底层的过滤甚至会让我们忽视对方用的是什么方言和语言。到了深度学习,神经网络的层次才到了真正的多层结构。其实大家一直就知道多层好,但苦于不知道怎么训练多层的模型,从而无法应用。深度学习给出了一个切实可行的多层训练方案,所以多层模型也开始广泛的应用了。 解决具体问题时