李宏毅自然语言处理——Self Attention

引言

这是李宏毅老师讲的机器学习视频中与自然语言处理有关的，本文主要关注Self-attention。

处理序列的模型

我们已经知道如何处理输入是一个向量的问题。假设我们遇到了更加复杂的问题。比如，输入是一系列向量。

并且输入的这一系列向量的长度不是固定的。

比如，在文字处理的场景中。输入是一个句子，将每个句子的词汇描述成一个向量，这样模型的输入就是一排向量。

如何把词汇表示成向量呢，我们知道有one-hot编码。

但是这种表示方法不能表示语义信息，并且维度还非常大。另一种表示方法是词嵌入向量。

还有图结构也可以是一系列向量。

那这些模型的输出是什么？

有三种类型：

每个输入的向量都有一个标签，比如词性标注任务。

第二种类型是整个序列的输出就是一标签。

比如情感分类任务、或者是输入一段语言，识别说话者是谁等。

最后一种类型就是，我们也不知道有多少个输出，由机器自己决定要输出多少。比如机器翻译任务。

我们今天关注第一种类型。这种任务又叫序列标注(Sequence Labeling)。

我们不能直接用全连接网络(FC)来做，因为全连接网络同样的输入会得到同样的输出。而我们上面的例子中“I saw a saw”，第一个“saw”是动词，第二个“saw”是名词。

如果能考虑到上下文就好了。这是有可能的，可以设定一个窗口大小，把窗口大小内的输入都串起来，一起丢到FC中。但是窗口大小始终是有限的，如何考虑整个句子呢，难道设定一个巨大的窗口包含整个语句？

有没有更好的考虑整个序列的模型呢？有，那便是Self-atention!

Self-attention

Self-attention可以接收一整个序列的输入，序列中有多少个输入，它就可以得到多少个输出。

比如上面输入4个向量到Self-attention中，我们就得到了4个输出向量。这4个输出向量特别之处在于，它们都是考虑了整个序列得到的结果。

在把这些特别的向量丢给FC之后，再来决定要输出什么样的东西。

Self-attention的输出还可以叠加。比如，我们得到考虑整个序列的向量后，喂给FC，得到FC的输出后，再过一次Self-attention，重新考虑FC的所有输出，再丢给另一个FC之后，得到最终的输出，如下图：

所以可以把FC和Self-attention交替使用，用Self-attention处理整个序列的信息，FC专注于处理某个位置的信息。

​​Attention is all you need.​​

Self-attention的原理

那Self-attention是怎么运作的呢？

它的输入就是向量序列，这些向量可能是整个网络的输入，也可能是某个隐藏层的输出。

再强调一次，每个Self-attention的输出，都是考虑了所有的输入向量才生成出来的。

下面我们来看一下是如何生成这些向量的。

我们重点来看一下是如何产生$b^1$这个向量的，其他的$b^2 \cdots b^4$同理。

① 我们想要根据$a^1$找出序列中其他与$a^1$有关的向量。每个向量与$a^1$关联程度用一个数值$\alpha$来表示。第一步要考虑的问题就是，Self-attention模型如何决定两个向量的关联性呢。

那么就需要一个计算关联性(注意力)的模组。

它拿两个向量作为输入，直接输出它们的相关性$\alpha$数值。如何计算这个数值，就有各种各样的做法。

常用的做法有使用点乘(Dot product)的方式。

点乘的方式做法如下：

1. 把输入的向量分别乘上两个不同的权重矩阵，分别得到两个向量，记为$q$和$k$。
2. 然后让$q \cdot k$就可以得到一个标量，这个标量就作为$\alpha$数值。

还有一种叫作Additive的方式：

也是乘上两个权重矩阵，得到$q,k$之后，再拼接起来，然后输入到一个激活函数中，激活函数输出的结果通过矩阵进行线性变换得到$\alpha$。

我们下面的讨论基于点乘的方式。

② 计算$a^1$和其他向量的关联性。

怎么做呢？ 先用$a^1$乘上矩阵$W^q$得到$q^1$，这个$q^1$被称为为query。

然后$a^2,a^3,a^4$乘上$W^k$分别得到$k^2,k^3,k^4$，这些$k^2,k^3,k^4$被称为key。

接下来用$q^1$与$k^2$做点积得到$\alpha_{1,2}$值，表示$a^1$和$a^2$之间的关联性，$\alpha_{1,2}$这种记法说明query是$a^1$提供的，key是$a^2$提供的。这个$\alpha$值还被称为attention score。计算出$a^1$与$a^2$的关联性后，还要跟$a^3,a^4$计算一下。

计算$k^3,k^4$的时候也是乘以$W^k$矩阵得到的，然后再与$q^1$做点积得到$\alpha_{1,3},\alpha_{1,4}$。

实际上，我们还要利用同样的公式计算$a^1$自己与自己的关联性$\alpha_{1,1}$。

③ 计算Softmax

我们还要对这些attention score做一个Softmax，得到$\alpha_{1,i}^\prime, \quad (i=1,2,3,4)$，相当于与$a^1$与各个向量的相关性系数，我们就可以知道哪些向量与$a^1$相关性比较大。

④ 计算最终的$b^1$

在计算$b^1$之前呢，还有一个向量要计算。

这个向量就是$v$向量，把$a^1$到$a^4$都乘上$W^v$，得到$v^1$到$v^4$。这个$v$可以看成是向量$a$所携带的信息编码。

然后与Softmax之后的$\alpha^\prime$做一个加权求和就得到了$b^1$：

假设$a^2$与$a^1$关联性较大，那么得到的权重系数就很大，在计算$b^1$时，就会有很大程度的信息来自于$v^2$,也就是来自于$a^2$。

下面得到$b^2，b^3,b^4$是一样的，虽然这里先探讨$b^1$的产生，其实$b^1,b^2,b^3,b^4$是可以同时产生的。

不过计算$b^2$时，是以$a^2$计算的$q^2$作为query的。同理以$a^3$得到$q^3$就可以计算$b^3$。

刚才我们说是可以同时计算的，是怎么回事呢。其实计算$q,k,v$无非就是不同的向量与矩阵相乘得到的，如果把这些向量写在一起，写成一个矩阵，不就可以一次得到了吗。

把$a^1,a^2,a^3,a^4$拼成一个矩阵$I$，然后让矩阵$W^q$乘以它得到矩阵$Q$，矩阵$Q$可以分解为$q^1,q^2,q^3,q^4$。

剩下的$K = W^k I,\quad V = W^v I$也是同样的道理。

接下来，计算attention score也可以写成矩阵运算。

我们先看$q^1$，它计算$\alpha_{1,1},\alpha_{1,2},\alpha_{1,3}，\alpha_{1,4}$可以写成矩阵$K$与向量$q^1$的乘积。

同理不难理解$\alpha_{2,1},\alpha_{2,2},\alpha_{2,3}，\alpha_{2,4}$也可以写成$K\cdot q^2$。

这样把$q^1,q^2,q^3,q^4$拼成矩阵$Q$，然后通过$K^T Q$得到$A$，$A$经过Softmax之后就得到了$A^\prime$矩阵，$A^\prime$矩阵中每列之和为$1$，$A^\prime$也被成为Attenion Matrix。

接下来看$b^1$

相当于是把$v^1,v^2,v^3,v^4$组成的矩阵$V$乘以$A^\prime$的第一列，就得到了$b^1$。

那么用矩阵$V$乘以$A^\prime$就可以得到$b^1,b^2,b^3,b^4$得到的矩阵$O$。

总结下来，这一连串的操作，其实就是矩阵的乘法而已。我们用一个图来总结一下。

$I$是Self-attention模型的输入组成的矩阵，$W^q,W^k,W^v$是三个可以学习的权重矩阵；

用这三个矩阵乘$I$分别得到$Q,K,V$矩阵；

然后用$K$矩阵做个转置乘上$Q$就得到了$A$，经过Softmax得到$A^\prime$；

用$V$乘上$A^\prime$得到最终的输出$O$。

其中需要学习的参数，就是$W^q,W^k,W^v$。

Multi-head Self-attention

Multi-head Self-attention是Self-attention的一个升级版本，Multi-head指的是计算出多个$Q,K,V$矩阵。

为什么这样有意义呢? Self-attention是用query去找相关性，但是相关性可能有很多个种类，这时得到多个$Q,K,V$就分别代表不同种类。多出来的$Q,K,V$矩阵是怎么计算的呢。

以2 head为例，我们还是用$W^q a^i$来得到$q^i$，然而，此时用这个$q^i$乘以一个不同的矩阵，得到$q^{i,1},q^{i,2}$；

同理用$k^i,v^i$乘上不同的矩阵分别得到$k^{i,1},k^{i,2}$和$v^{i,1},v^{i,2}$。

然后计算$\alpha$和$b$的时候，把$q^{i,1},k^{i,1},v^{i,1}$这些第二个上标为$1$的进行计算，最后得到$b^{i,1}$；上标为$2$的进行计算，得到$b^{i,2}$

接下来也可以拼接$b^{i,1},b^{i,2}$，然后乘以一个矩阵$W^o$得到$b^i$。

Positional Encoding

现在整个过程看下来，Self-attention少了一个重要的信息，即位置信息。

我们上面在进行矩阵运算的时候，对于不同的位置的输入，都是同等对待的。没有说像RNN那样后面的输入考虑了前面输入的信息。也没有考虑输入的距离远近。

本小节介绍的Positional Encoding就是用于解决这个问题的。具体就是为每个位置的输入设置一个独立的位置向量$e^i$。

在Attention is all you need中用的$e^i$是下图中的每一列：

即每一列代表一个位置向量$e^i$，这些位置向量$e^i$是通过sin和cos函数形成一个公式生成的。当然还有其他的生成方法，甚至可以当成一个可以学习的参数。

Self-attention的应用

比较出名的两个就是​​Transformer​​​和​​BERT​​。

这两个家伙常年活跃在自然语言处理领域。

当然还可以应用在语音和图像上。

对于图像来说，把每个位置的输入看成一个3维(rgb)的向量。

Self-attention vs CNN

CNN在做卷积的时候，考虑的是感受野之内的信息，而Selt-attention考虑的是整个输入的信息。

因此CNN可以看成是一个简化版的Self-attention。

这样好像是让Self-attention自己去决定感受野的形状是什么样的。

Self-attention只要设置合适的参数，就可以做到CNN能做到的事情。

Self-attention在数据量大时表现更好，而CNN在小数据量时表现更好。这样不难理解，显然Self-attention比CNN更复杂，需要的数据量显然更多。

Self-attention vs RNN

Self-attention和RNN都可以处理序列数据，RNN得到结果时必须按照时间步的顺序(正序或逆序)来生成，利用双向RNN的设计可以考虑整个序列信息。

而Self-attention每个输出都也是考虑了整个序列信息。虽然双向RNN也考虑了整个序列信息，但是如果将它俩进行对比，还是可以发现一些不同。

比如考虑上面红框框出来的(深蓝色)输入，RNN要考虑这个输入，必须保存到内存中，然后一步一步传递到最后，得到红框框出来的黄色输出。所以是很难考虑到比较远的输入。

而Self-attention就没有这个问题，只要它们的query和key比较相关，得到的相关性系数较大，不管多远，都能轻易地抽取出信息。

还有一个重要的不同就是并行化，这影响到训练效率。RNN是不能并行化的，而Self-attention可以。这样Self-attention完胜RNN。

想要了解更多Self-attention和RNN的关系，可以参考这篇论文☞​​Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention​​

Self-attentioni for Graph

Self-attention还可以用在图结构上，图中每个节点看成一个输入，图结构中边的概念，可以看成有关联的向量。可以形成一个稀疏矩阵，其中白色空白区域代表无关联性。

比如上图节点1和5，6，8相连，所以我们只需要计算它们之间的attenion score。

Self-attention的变体

Self-attention有很多种变体，Self-attention最早用在Transformer上面，后来就出来了各种“xxformer”。

​​Long Range Arena: A Benchmark for Efficient Transformers​​

​​Efficient Transformers: A Survey​​