1 Modularity的神经科学相关paper
[1] Clune J, Mouret J B, Lipson H. The evolutionary origins of modularity[J]. Proceedings of the Royal Society b: Biological sciences, 2013, 280(1755): 20122863.[pdf]
[2] Meunier D, Lambiotte R, Bullmore E T. Modular and hierarchically modular organization of brain networks[J]. Frontiers in neuroscience, 2010, 4: 200.
[3] Sporns O, Betzel R F. Modular brain networks[J]. Annual review of psychology, 2016, 67: 613-640.
[4] Sternberg S. Modular processes in mind and brain[J]. Cognitive neuropsychology, 2011, 28(3-4): 156-208.
2 贴点比较受启发的论述
Overall, this paper supports the hypothesis that selection to reduce connection costs causes modularity, even in unchanging environments. The results also open new areas of research into identifying connection costs in networks without physical connections (e.g. genetic regulatory networks) and investigating whether pressures to minimize connection costs may explain modularity in human-created networks (e.g. communication and social networks).
3 小结
由于对于神经科学不是很了解，无法很具体的做出解读。但是从看到这些paper上，很重要的一点理解是我们大脑神经网络的模块化是自然形成的，这里面的原因包含了
- 神经网络的连接距离connection cost。距离越短，耗能越小。modularity有利于减少连接成本
- modularity有利于让不同的module专业化，即不同模块负责不同的功能，这可以提升generalization，换句话说我们的智能水平由于modularity提升了
- modularity能够有利于快速适应。因为modularity，我们只需要改变某一些模块或者连接就能实现适应
- modularity能够很好的处理catastrophic forgetting，道理和3一样，面对新的输入只要改变部分神经网络，从而保留了原有其他模块的功能。
总之一句话，modularity是实现人类智能的关键，现在的人工神经网络在modularity上并没有足够的体现，至少那些已经商用的图像语音神经网络还没有这方面的设计，所以导致泛化性只能靠堆数据了，而工业界金融界很多情况没有那么多数据就麻烦了，modularity是一种潜在的解决办法。
来源：oschina
链接：https://my.oschina.net/u/4353238/blog/4255724