crisscross

点击上方“ 迈微电子研发社 ”，选择“ 星标★ ”公众号 重磅干货，第一时间送达 之前在看DETR这篇论文中的self_attention，然后结合之前实验室组会经常提起的注意力机制，所以本周时间对注意力机制进行了相关的梳理，以及相关的源码阅读了解其实现的机制. 一、注意力机制（attention mechanism） attention机制可以它认为是一种资源分配的机制，可以理解为对于原本平均分配的资源根据attention对象的重要程度重新分配资源，重要的单位就多分一点，不重要或者不好的单位就少分一点，在深度神经网络的结构设计中，attention所要分配的资源基本上就是权重了。 视觉注意力分为几种，核心思想是基于原有的数据找到其之间的关联性，然后突出其某些重要特征，有通道注意力，像素注意力，多阶注意力等，也有把NLP中的自注意力引入。 二、自注意力（self-attention） 参考文献： Attention is All you Need http://papers.nips.cc/paper/7181-attention-is-all-you-need 参考资料： zhuanlan.zhihu.com/p/48 GitHub： git hub.com/huggingface/ 自注意力有时候也称为内部注意力，是一个与单个序列的不同位置相关的注意力机制

点击上方 “ 机器学习与生成对抗网络 ”，关注"星标" 获取有趣、好玩的前沿干货！ 作者：HUST小菜鸡 https://zhuanlan.zhihu.com/p/146130215 文仅交流，未经允许不得转载 之前在看DETR这篇论文中的self_attention，然后结合之前实验室组会经常提起的注意力机制，所以本周时间对注意力机制进行了相关的梳理，以及相关的源码阅读了解其实现的机制 一、注意力机制（attention mechanism） attention机制可以它认为是一种资源分配的机制，可以理解为对于原本平均分配的资源根据attention对象的重要程度重新分配资源，重要的单位就多分一点，不重要或者不好的单位就少分一点，在深度神经网络的结构设计中，attention所要分配的资源基本上就是权重了 视觉注意力分为几种，核心思想是基于原有的数据找到其之间的关联性，然后突出其某些重要特征，有通道注意力，像素注意力，多阶注意力等，也有把NLP中的自注意力引入。 二、自注意力（self-attention） 参考文献：Attention is All you Need 参考资料：https://zhuanlan.zhihu.com/p/48508221 GitHub：https://github.com/huggingface/transformers