注意力机制的核心部分是通过计算K K K q q q f f f a = f ( q . K ) a=f(q.K) a = f ( q . K ) A t t e n t i o n ( Q , K , V ) Attention(Q, K, V) A t t e n t i o n ( Q , K , V ) n × d k n×d_k n × d k n n n d k d_k d k K K K m × d k m×d_k m × d k V V V m × d v m×d_v m × d v n × d v n×d_v n × d v 有n n n
在实际论文的表述里或者开展的实验中，K K K h t h_t h t q q q Q K QK Q K a i j k . . . a_{ijk...} a i j k . . . V V V
多头注意力，就是在上面A t t e n t i o n ( Q , K , V ) Attention(Q,K,V) A t t e n t i o n ( Q , K , V ) h h h Q , K , V Q,K,V Q , K , V MultiHead ( Q , K , V ) = Concat ( head1 , . . . , head h ) W O \text{MultiHead}(Q,K,V) = \text{Concat}(\text{head1},...,\text{head}_h)\boldsymbol{W}^O MultiHead ( Q , K , V ) = Concat ( head1 , . . . , head h ) W O head i = Attention ( Q W i Q , K W i K , V W i V ) \text{head}_i = \text{Attention}(\boldsymbol{Q}\boldsymbol{W}_i^Q,\boldsymbol{K}\boldsymbol{W}_i^K,\boldsymbol{V}\boldsymbol{W}_i^V) head i = Attention ( Q W i Q , K W i K , V W i V ) Attention ( Q , K , V ) = softmax ( Q K T d k ) V \text{Attention}(\boldsymbol{Q},\boldsymbol{K},\boldsymbol{V}) = \text{softmax}(\frac{\boldsymbol{Q}\boldsymbol{K}^T}{\sqrt{d_k}})\boldsymbol{V} Attention ( Q , K , V ) = softmax ( d k Q K T ) V Q W i Q = Q i , K W i K = K i , V W i V = V i , i ∈ [ 1 , h ] \boldsymbol{Q}\boldsymbol{W}_i^Q=Q^i,\boldsymbol{K}\boldsymbol{W}_i^K=K^i,\boldsymbol{V}\boldsymbol{W}_i^V=V^i,i \in [1,h] Q W i Q = Q i , K W i K = K i , V W i V = V i , i ∈ [ 1 , h ] W i Q , W i K , W i V \boldsymbol{W}_i^Q,\boldsymbol{W}_i^K,\boldsymbol{W}_i^V W i Q , W i K , W i V
如果我们把这些注意头可以看作是从不同角度对序列中同一实体的不同观察结果（权重），那么是否可以尝试从h个注意力头u i u_i u i v v v u i = softmax ( Q i K i T d k ) V i u_i = \text{softmax}(\frac{\boldsymbol{Q_i}\boldsymbol{K_i}^T}{\sqrt{d_k}})\boldsymbol{V_i} u i = softmax ( d k Q i K i T ) V i 想入非非 产生联想，在胶囊网络中，我们知道，对于v in v out的capsule，识别图片中的某一组件(component)的旋转不变性，是通过对该组件的feature与Pose向量做transformation。而我们知道，如果输入的是对同一实体在语言学上的不同描述，那么利用路由机制，就可以决定不同描述的information中谁能流向下一层胶囊层，进而是否可以利用这一性质，对上述h个头进行路由选择呢？
首先，通过将输入胶囊ui乘以表示部分和整体之间的视点不变关系的学习转换矩阵Wij来计算投票:u i u_i u i W i j W_ij W i j u ^ j ∣ i = W i j u i \hat u_{j|i}=W_{ij}u_i u ^ j ∣ i = W i j u i v v v u ^ \hat u u ^ c c c c c c v = f ( u ^ , c ) v=f(\hat u,c) v = f ( u ^ , c ) c = U p d a t e ( u ^ , v ) c=Update(\hat u,v) c = U p d a t e ( u ^ , v )
最后，将输出胶囊v串联在一起，送入前馈网络(FFN)，该网络由两个线性变换层组成，线性变换层中通过ReLU完成激活。F F N ( x ) = m a x ( 0 , x W 1 + b 1 ) W 2 + b 2 FFN(x)=max(0,xW_1+b_1)W_2+b_2 F F N ( x ) = m a x ( 0 , x W 1 + b 1 ) W 2 + b 2
另外，通过添加了层u u u v v v O + F F N ( v ) O+FFN(v) O + F F N ( v )
我们把所有这些加权vote向量加起来，得到胶囊类型输出向量s j = ∑ i c i j u ^ j ∣ i s_j=\sum_ic_{ij}\hat u_{j|i} s j = i ∑ c i j u ^ j ∣ i c i j = e x p ( b i j ) ∑ k e x p ( b i k ) c_{ij}=\frac{exp(b_{ij})}{\sum_kexp(b_{ik})} c i j = ∑ k e x p ( b i k ) e x p ( b i j ) b i j b_{ij} b i j s j s_j s j v j = ∣ ∣ s j ∣ ∣ 2 1 + ∣ ∣ s j ∣ ∣ 2 s j ∣ ∣ s j ∣ ∣ v_j=\frac{||s_j||^2}{1+||s_j||^2}\frac{s_j}{||s_j||} v j = 1 + ∣ ∣ s j ∣ ∣ 2 ∣ ∣ s j ∣ ∣ 2 ∣ ∣ s j ∣ ∣ s j
初始的coefficientsb i j b_{ij} b i j u ^ j ∣ i \hat u_{j|i} u ^ j ∣ i v j v_j v j
