Attention 注意力机制浅析

Attention 机制

概述

自上而下的有意识的注意力，称为聚焦式注意力（Focus Attention）． 聚焦式注意力也常称为选择性注意力聚焦式注意力是指有预定目的、依赖任务的，主动有意识地聚焦于某一对象的注意力

自下而上的无意识的注意力，称为基于显著性的注意力（Saliency Based Attention）．基于显著性的注意力是由外界刺激驱动的注意，不需要主动干预，也和任务无关．

在计算能力有限的情况下， 注意力机制也可称为注意力模型．注意力机制（Attention Mechanism）作为一种资源分配方案，将有限的计算资源用来处理更重要的信息，是解决信息超载问题的主要手段

Attention的引入

用$X=[x_1,\cdots,x_N]\in\mathbb{R}^{D\times N}$表示$N$组输入信息，其中$D$ 维向量$x_n\in$ $\mathbb{R}^D,n\in[1,N]$表示一组输入信息。为了节省计算资源，不需要将所有信息都输入神经网络，只需要从$X$中选择一些和任务相关的信息。 注意力机制的计算可以分为两步：一是在所有输入信息上计算注意力分布，二是根据注意力分布来计算输入信息的加权平均。

为了实现注意力机制，引入一个和任务相关的向量作为查询向量(query vector)，并通过一个注意力打分机制计算输入向量与查询向量之间的相关性

给定一个和任务相关的查询向量$q$,用注意力变量$z\in[1,N]$来表示被选择信息的索引位置，即$z=n$ 表示选择了第$n$ 个输入向量.为了方便计算，我们采用一种“软性”的信息选择机制. 首先计算在给定$q$和$X$下，选择第$n$个输入向量的概率$\alpha_n$
$\begin{aligned} \alpha_n &=p(z=n|X,q)\\ &= softmax\left ( s( \boldsymbol{x}_n, \boldsymbol{q}) \right ) \\ &=\frac{\exp\left(s(x_n,q)\right)}{\sum_{j=1}^N\exp\left(s(x_j,q)\right)} \end{aligned}$
其中$\alpha_n$称为注意力分布( Attention Distribution ) , s$(x,q)$

$\begin{aligned} \text{加性模型}:&s(h,q)=v^T\tanh(Wh+Uq) \\ \text{点积模型}:&s(h,q)=h^Tq\\ \text{缩放点积模型}:& s(h,q)=\frac{h^Tq}{\sqrt D}\\ \text{双线性模型}: &s(h,q)=h^T\dot{W}q\\ \end{aligned}$
其中$W,U,\boldsymbol{\upsilon}$为可学习的参数，D为输入向量的维度.

理论上，加性模型和点积模型的复杂度差不多，但是点积模型在实现上可以更好地利用矩阵乘积，从而计算效率更高.

当输入向量的维度$D$比较高时，点积模型的值通常有比较大的方差，从而导致 Softmax 函数的梯度会比较小。因此，缩放点积模型可以较好地解决这个问题. 双线性模型是一种泛化的点积模型。公式中$W=U^\intercal V$,双线性模型可以写为$s(x,q)=x^\intercal U^\intercal V\boldsymbol{q}=(Ux)^\intercal(V\boldsymbol{q})$，即分别对$x$和$q$进行线性变换后计算点积。相比点积模型，双线性模型在计算相似度时引入了非对称性。

注意力分布$\alpha_n$

$\operatorname{att}(X,q)=\sum_{n=1}^N\alpha_nx_n, =\mathbb{E}_{z\sim p(z|X,q)}[x_z].$
其中注意力机制如图所示

此为：注意力是软性注意力，其选择的信息是所有输入向量在注意力分布下的期望

Attention机制的变体

硬性注意力机制

若以选取最高概率的一个输入向量，即
$\text{att}(X,q)=X_{\hat n}$
其中$\hat n=\arg max_{n=1}^n\ \alpha_n$

另一种硬性注意力可以通过在注意力分布式上随机采样的方式实现．

硬性注意力的一个缺点是基于最大采样或随机采样的方式来选择信息，使得最终的损失函数与注意力分布之间的函数关系不可导，无法使用反向传播算法进行训练．因此，硬性注意力通常需要使用强化学习来进行训练．为了使用反向传播算法，一般使用软性注意力来代替硬性注意力．

基于键值对的注意力机制

用$(\boldsymbol{K},\boldsymbol{V})=[(\boldsymbol{k}_1,\boldsymbol{\upsilon}_1),\cdots,(\boldsymbol{k}_N,\boldsymbol{\upsilon}_N)]$表示$N$组输入信息，给定任务相关的查询向量$\boldsymbol{q}$时，注意力函数为

$\begin{aligned} \operatorname{att}((K,V),\boldsymbol{q}) &=\sum_{n=1}^N\alpha_n\boldsymbol{\upsilon}_n\\ &=\sum_{n=1}^N\frac{\exp (s(k_n,q))}{\sum_j\exp (s(k_n,q))}v_n \end{aligned}$
其中$s(\boldsymbol{k}_n,\boldsymbol{q})$为打分函数.

当𝑲 = 𝑽 时，键值对模式就等价于普通的注意力机制

多头注意力机制

多头注意力机制是采用多个查询向量$Q=[q_1,q_2,\dots,q_n]$，可以并行地从输入信息中选取多组信息。
$\mathrm{att}\Big((K,V),Q\Big)=\mathrm{att}\Big((K,V),q_1\Big)\oplus\cdots\oplus\mathrm{att}\Big((K,V),q_M\Big)$
其中$\oplus$表示向量拼接．

自注意力机制

不同的输入长度，其连接权重的大小也是不同的．自注意力也称为内部注意力（Intra Attention）．这时我们就可以利用注意力机制来“动态”地生成不同连接的权重，这就是自注意力模型（Self-Attention Model）．

为了提高模型能力，自注意力模型经常采用查询-键-值（Query-Key-Value，QKV）模式

假设输入序列为$X=[x_1,\cdots,x_N]\in\mathbb{R}^{D_x\times N}$,输出序列为$H=[h_1,\cdots,h_N]\in$ $\mathbb{R}^{D_\upsilon\times N}$

首先将每个输入$x_i$,我们首先将其线性映射到三个不同的空间，得到查询向量$q_i\in\mathbb{R}^{D_k}$、键向量$\boldsymbol{k}_i\in\mathbb{R}^{D_k}$和值向量$\boldsymbol{v}_i\in\mathbb{R}^{D_v}.$
对于整个输入序列$X$,线性映射过程可以简写为

$Q=W_qX\in\mathbb{R}^{D_k\times N}\\ K=W_kX\in\mathbb{R}^{D_k\times N}\\ V=W_\upsilon X\in\mathbb{R}^{D_\upsilon\times N}$
然后对每一个查询向量$q_n\in Q$,利用键值对注意力机制，可以得到输出向量$h_n$,

$\boldsymbol{h}_n=\mathrm{att}\Big((K,V),\boldsymbol{q}_n\Big)$