自注意力机制对每个位置的加权和来计算某个位置的表现。但是其参数量太大，计算资源要求较高。
1、简介
提出了EMA模块，该方法可以大大的减少计算量。而且该模块是轻量化的，可以很方便的嵌入到现有的网络中。
自注意力机制中一个点的上下文信息是通过来计算其他点与其的加权和来进行的。
nonlocal第一次将自注意力机制引入到计算机视觉任务中。
来源：CSDN
作者：叱咤风云666
链接：https://blog.csdn.net/qq_20777119/article/details/103830778