Non-local Neural Networks笔记
Non-local Neural Networks 非局部神经网络 Non-local Neural Networks 1introduction 2.Related Work 3.Non-local Neural Networks 3.1Formulation 3.2Instantiations 3.3Non-local Block 文章链接: 2018cvprNon-local neural Network 摘要:所有的卷积和递归操作单次使用都是通过一个局部邻域来生成一个特征块,这篇文章展示了一种提取远距离关系的通用方法, 灵感 来源于计算机视觉领域的传统方法 非局部均值 ,**non-local计算所有位置特征的加权和来表示一个位置的相应,**此方法能够即插即用到很多CV框架中。 1introduction 获取远距离信息的互相关系在神经网络中是非常重要的。对于连续的数据,递归作为主流的方法来建模长程关系。对于图像数据,远距离的依赖关系通过 堆叠卷积得到的大感受野 来建模;不管是空间或者时间,卷积和递归都处理的局部邻域的信息;因此只有通过重复这些操作,利用数据渐进的传播信号才能提取到长程的依赖关系,反复的局部操作有以下几点限制: 1计算效率低,2优化困难需要非常细微的调整,3上述问题导致了多链接关系建模困难。 Non