Transformer之Layer Normalization与Transformer整体结构

1. 前言

按照顺序将要介绍Layer Normalization，谈起这个模块，就会想起CV领域比较重要BN层 ，被称为批归一化，它具有加快训练速度、防止过拟合等优点。可是，在NLP领域应用更为广泛的是Layer Normalization。在最后我们介绍Encoder和Deconder的整体结构。

2. Layer Normalization

上图是Transformer的经典视图，我们标注出了Layer Normalization中的具体位置。我们从模型输入输出出发介绍是 Layer Normalization如何运算的。假设句子有一个有$N$个句子，句子最长单词数为$T$，嵌入维度为$C$，则组成的3位张量为$[N,T,C]$， 如下图所示：

计算时我们按照N通道进行，计算形式如下所示：

$\begin{aligned} \mu^l &=\frac{1}{H} \sum_{i=1}^H x_i^l \\ \sigma^l &=\sqrt{\frac{1}{H} \sum_{i=1}^H\left(x_i^l-\mu^l\right)^2} \\ \text { LayerNorm }\left(\mathbf{x}^l\right) &=\alpha \odot \frac{\mathbf{x}^l-\mu^l}{\sqrt{\left(\sigma^l\right)^2+\epsilon}}+\beta \end{aligned}$

在实现归一化之后，在将得到的值$Z$与输入值$X$的对应项相加得到一个self-attention最终输出，流程如下图所示：

3. Enconder的整体结构

总结来讲，他主要有5个步骤，主要包括上文所讲述的Positional encoding，Self-attention和Layer Normalization，和Feed forward。
1）字向量和位置编码
$X = {\rm{ Embedding\_Lookup }}(X) + {\rm{ Positional\_Encoding }}$
2）自注意机制
$\begin{gathered} Q=\operatorname{Linear}_q(X)=X W_Q \\ K=\operatorname{Linear}_k(X)=X W_K \\ V=\operatorname{Linear}_v(X)=X W_V \\ X_{\text {attention }}=\operatorname{Self-Attention~}(Q, K, V) \end{gathered}$
3）self-attention 残差连接与 Layer Normalization
$\begin{gathered} X_{\text {attention }}=X+X_{\text {attention }} \\ X_{\text {attention }}=\operatorname{LayerNorm}\left(X_{\text {attention }}\right) \end{gathered}$
4). 下面进行 Encoder block 结构图中的第 4 部分，也就是 FeedForward（前向传播），其实就是两层线性映射并用激活函数激活，比如说Relu。
$X_{\text {hidden }}=\operatorname{Linear}\left(\operatorname{ReLU}\left(\text { Linear }\left(X_{\text {attention }}\right)\right)\right)$
5). FeedForward 残差连接与 Layer Normalization
$\begin{gathered} X_{\text {hidden }}=X_{\text {attention }}+X_{\text {hidden }} \\ X_{\text {hidden }}=\text { LayerNorm }\left(X_{\text {hidden }}\right) \end{gathered}$

4. Deconder的整体结构

接下来将介绍Deconder的整体结构，从流程图可以看出，Deconder模型采用的单元与Enconder基本相同，主要也是Positional encoding，Self-attention和Layer Normalization等，所以不做介绍。

在字向量和位置编码经过结合后，送入Enconder和Deconder，他们经过的Self-attention是不一样的，前者叫做Muti-head Attention后者叫做Masked Muti-head Attention。关于前者已经在这篇文章做了详细介绍，下面就着重说明解码器为什么要采用Masked Muti-head Attention。

RNN在进行解码时，是按照时间顺序输出的，在知道前一个词之后，才能推理出后一个词，也就是说在进行推理的时候，我们不可能暴露后面的句子信息是什么的。但是Self-attention却不是这样的，它需要计算当前词，与其他任一个词之间的相关性，这显然是不科学的，所用我们需要对 Muti-head Attention做一些特别的处理，即掩码操作（MASK）。

为了简答表达，下文仅仅以Self-attention为例子进行介绍。我们先做出假设，经过字向量和位置编码的输出为$X$（其实是$Q$,$K$,$V$；三个值都为$X$），可学习的3个矩阵分别是为$W^q$、$W^k$和$W^v$，输出$O$（Layer Normalization之前）。$q^i$，$k^i$和$v^i$的计算如下：

然后求得相关分数矩阵，一共有16项，即${{\alpha}_{1,1}}$，${{\alpha}_{1,2}}$，${{\alpha}_{1,3}}$和${{\alpha}_{1,4}}$…计算如图13所示：

上文是最原始的Self-attention，那如何在此基础上引入MASK呢？我们以 I am fine这句话为例，假设我们得到了上文的相关性矩阵。以单词I为例，它的相关性只与${{\alpha}_{2,1}}$和${{\alpha}_{2,2}}$有关系，与${{\alpha}_{2,3}}$和${{\alpha}_{2,4}}$无关，所以我们可以构造一个下三角形掩码进行表达，具体如下所示，首先生成一个下三角全 0，上三角全为负无穷的矩阵，然后将其与相关分数矩阵（scaled scores）相加即可

之后再做 softmax，就能将 - inf 变为 0，得到的这个矩阵即为每个字之间的权重

这样在进行后续计算即可。

需要强调的是，在经过第一个Masked Muti-head Attention后，后续的Blocked三个输入中的$K$和$V$来源于Enconder的输出。

参考

https://wmathor.com/index.php/archives/1438/