【CS224n】(lecture9)Self-Attention and Transformers

学习总结

文章目录

• ​​学习总结​​
• ​​内容简介：​​
• ​​一、从 RNN 到基于注意力的 NLP 模型​​

• ​​1.1 基于注意力的RNN模型​​
• ​​1.2 RNN循环模型的问题​​

• ​​（1）线性交互距离​​
• ​​（2）缺乏并行性​​

• ​​1.3 单词窗口​​
• ​​1.4 注意力​​
• ​​1.5 自注意力​​

• ​​（0）自注意力（点积）操作​​
• ​​（1）位置问题的方案：序列顺序编码​​

• ​​解决方案：​​

• ​​（2）线性问题的方案：非线性激活函数​​
• ​​（3）预测问题的方案：掩码矩阵​​

• ​​1.6 总结​​

• ​​二、详解transformer​​

• ​​2.1 transformer多级视图​​
• ​​2.2 transformer 编码器​​

• ​​（1）K-Q-V注意力​​

• ​​1）自注意力机制​​
• ​​2）计算 K-Q-V 注意力（矩阵形式）：​​

• ​​（2）多头注意力​​
• ​​（3）残差连接​​
• ​​（4）层归一化​​
• ​​（5）点积缩放​​

• ​​2.3 transformer 解码器​​

• ​​（1）掩码注意力​​
• ​​（2）交叉注意力​​

• ​​1）解码器的多头交叉注意力​​
• ​​2）如何在矩阵中计算交叉注意力：​​

• ​​2.4 transformer 总体架构​​
• ​​2.5 transformer的12个类​​

• ​​（1）embeddings​​
• ​​（2）Positional Encoding​​
• ​​（3）Multi-Headed Attention​​
• ​​（4）SubLayerConnection​​
• ​​（5）PositionwiseFeedForward​​
• ​​（6）EncoderLayer​​
• ​​（7）DecoderLayer​​
• ​​（8）LayerNorm​​
• ​​（9）Encoder​​
• ​​（10）Decoder​​
• ​​（11）Generator​​
• ​​（12）EncoderDecoder​​

• ​​三、Transformers强大结果​​

• ​​3.1 机器翻译​​
• ​​3.2 文档生成​​
• ​​3.3 预训练​​

• ​​四、Drawbacks and variants of Transformers​​

• ​​4.1 优点：并行计算​​
• ​​4.2 缺点：平方计算​​
• ​​4.3 探索：位置表示​​

• ​​Reference​​

内容简介：

1. 从循环（RNN）到基于注意力的 NLP 模型
2. 介绍 Transformer 模型
3. Transformer 的好结果
4. Transformer 的缺点和变体

一、从 RNN 到基于注意力的 NLP 模型

1.1 基于注意力的RNN模型

2016年时NLP领域常用双向LSTM对句子进行编码（如翻译下面的句子），把输出定义为一个序列。然后用LSTM解码。最后使用注意力以便灵活地访问编码的隐藏状态（即memory）。

基于注意力机制的seq2seq，RNN模型

以上就是2014年~2017年的RNN模型，2021年的今天，我们可以用不同的模型。

1.2 RNN循环模型的问题

（1）线性交互距离

循环模型的缺点：线性交互距离。

RNN是“从左到右”展开的，对线性局部性进行编码，这也启发我们：邻近的单词会影响彼此的意思。如句子​​The pizza with the tasty berverage is expensive.​​，pizza 和 tasty 就能够增加彼此的语义效应。RNN 采取 O(序列长度)步长来使远距离的词对进行交互：

RNN 模型的远距离的词对交互问题

远距离词对交互的 O（序列长度）步长意味着：

• 难以学习长距离依赖（因为梯度问题！）
• 单词的线性顺序不是思考句子的正确方式

（2）缺乏并行性

循环模型的缺点：缺乏并行性。

向前和向后传递具有 O(序列长度)非并行的操作。本来，GPU 可以一次执行一堆独立的计算！ 但是，在过去的 RNN 隐藏状态被算完之前，未来的 RNN 隐藏状态是不能被完全计算出来的。所以循环模型禁止对非常大的数据集进行训练。

1.3 单词窗口

如果不用循环模型，用单词窗口咋样？

• word窗口模型聚合本地上下文（也称为 1D卷积convolution，后面会说这个）
• 非并行的操作数量不会增加序列长度

单词窗口的长距离依赖情况如何呢？

• 堆叠单词窗口层允许更远单词之间的交互，如上图二。
• 最大交互距离 = 序列长度 / 窗口大小（但如果序列太长，你就会忽略长距离上下文）。

1.4 注意力

• 注意力将每个单词的表示视为：一个查询（Q）去访问，和合并来自一组值（V）的信息。
• 上个lecture看到了从编码器到解码器的注意力，这里单独考虑一个句子，考虑注意力。
• 不可并行操作的数量不会增加序列长度。
• 最大交互距离：O(1)，因为所有单词在每一层都交互。

数字表示在一个状态被计算之前的最小步数：

注意力的表达示意图

1.5 自注意力

回顾：注意力对查询 $(Q)$ 、键 $(\mathrm{K})$ 和值 $(\mathrm{V})$

我们有一些 $\mathrm{Q}: q_{1}, q_{2}, \cdots, q_{T}$ 。 每个 $\mathrm{Q}$ 是 $q_{i} \in R^{d}$

我们有一些 $\mathrm{K}: k_{1}, k_{2}, \cdots, k_{T}$ 。 每个 $\mathrm{K}$ 是 $k_{i} \in R^{d}$

我们有一些 $\mathrm{V}: v_{1}, v_{2}, \cdots, v_{T}$。 每个 $\mathrm{V}$ 是 $v_{i} \in R^{d}$

(实际上, $\mathrm{Q}$ 的数量可能与 $\mathrm{K}$ 和 $\mathrm{V}$

在自注意力中，Q、K和V来自同一个源（Q=K=V），如如果上一层的输出是$x_{1}, x_{2}, \cdots, x_{T}$（每个单词一个向量），那么可以让$v_{i}=k_{i}=q_{i}=x_{i}$，即使用同一个向量。

（0）自注意力（点积）操作

• 计算K-Q相似度：$e_{i j}=q_{i}^{T} k_{j}$
• 从相似度计算注意力权重（softmax）：$\alpha_{i j}=\frac{\exp \left(e_{i j}\right)}{\sum_{j^{\prime}} \exp \left(e_{i j^{\prime}}\right)}$
• 将输出计算为值的加权总和：output $_{i}=\sum_{j} \alpha_{i j} v_{j}$

以上即NLP的自注意力模块。
self-attention可以直接代替循环吗——不能。

（1）位置问题的方案：序列顺序编码

self-attention是对集合的操作，没有固有的顺序概念，它不知道输入单词的顺序：

• 由于 self-attention 不建立在顺序信息中，我们需要在键、查询和值中对句子的顺序进行编码。
• 考虑将每个序列索引表示为一个向量 $p_{i} \in R^{d}$, 其中 $i \in\{1,2, \cdots, \mathrm{T}\}$ 是位置向量。现在先不用理 $p_{i}$ 由什么组成。我们要将此信息合并到我们的自注意力模块中：只需将 $\mathrm{p}_{\mathrm{i}}$
• 让 $\tilde{v}_{i} \tilde{k}_{i} 、 \tilde{q}_{i}$ 成为旧的值、键和查询, 则可得相应的新值：
  $\begin{aligned} v_{i} &=\tilde{v}_{i}+p_{i} \\ q_{i} &=\tilde{q}_{i}+p_{i} \\ k_{i} &=\tilde{k}_{i}+p_{i} \end{aligned}$

在深度自注意力网络中，在第一层就这么做，也可以将它们连接起来（但大家一般是直接相加）。

解决方案：

通过余弦和正弦曲线，将位置表示为向量。

正弦位置表示：连接不同周期的正弦函数：

位置信息的正弦表示法

• 优点：周期性表明“绝对位置”可能不那么重要，也许可以在周期重新开始时推断出更长的序列！
• 缺点：不可学习；推断也不起作用！注意，位置编码是写死的，不会更新，没有可训练学习的参数。

所以, 要从头开始学习 (learned from scratch) 位置表示的向量。学习的绝对位置表示: 让所有 $p_{i}$ 成为可学习的参数。学习一个矩阵$p \in R^{d \times T}$，并让每一个$p_i$成为该矩阵的一列；

• 优点（Pros）：灵活性，学习每个位置以适应数据
• 缺点（Cons）：肯定(definitely)不能外推到 1,…,T 之外的索引。
• 大多数系统都用这种方式。

更灵活的位置表示：
相对线性位置注意力，参见[Shaw et al., 2018]；
基于依存句法的位置，参见[Wang et al., 2019]。

（2）线性问题的方案：非线性激活函数

自注意力在深度学习网络中没有非线性元素，堆叠更多的自注意力层也只是对 V 向量的再平均， 一切都只是加权平均值，始终是线性操作。所以，为了增加非线性操作，有如下方案：

解决方案：添加前馈网络（FFN），利用激活函数 ReLU，对每个输出向量进行后处理。

$m_{i}=\operatorname{MLP}\left(\text { output }_{i}\right)=W_{2} * \operatorname{ReLU}\left(W_{1} \times \text { output }_{i}+b_{1}\right)+b_{2}$

直觉：FFN 处理 self-attention 的结果。

添加FF网络

（3）预测问题的方案：掩码矩阵

第3个障碍：窥视未来。
在作序列预测时，我们需要确保不会“展望未来”（就像机器翻译或语言建模一样）。
为了在解码器中使用自注意力，我们需要确保我们不能窥视未来。 如果在每个时间步，我们都更改 K 和 Q 的设置，使其仅包含过去的单词，那么效率就太低了！ 所以，为了实现并行化，我们要掩盖对未来单词的注意力，将注意力得分设置为-∞。$e_{i j}= \begin{cases}q_{i}^{T} k_{j}, & j<i \\ -\infty, & j \geq i\end{cases}$

掩码矩阵的设置

1.6 总结

解决方案：

• 位置问题的解决方案：向输入添加位置表示。
• 线性问题的解决方案：对每个自注意力输出应用相同的前馈网络。
• 预测问题的解决方案：通过人为地将注意力权重设置为 0来掩盖未来。

自注意力构建块（不完全代表transformer模型）的几个必要条件：

• 自注意力：Transformer 方法的基础。
• 位置表示：指定序列顺序，因为自注意力是其输入的一个无序函数。
• 非线性（ReLU）：在自注意力模块的输出，经常作为简单的前馈网络（FFN）实施。
• 掩码：为了在不看未来的情况下并行化操作，防止有关未来的信息“泄漏”到过去（不能偷看未来）

二、详解transformer

2.1 transformer多级视图

图：transformer的多级概念视图

（1）模块视图：编码器栈是由 6 个编码器模块组成，解码器栈也是由 6 个解码器模块组成（模块数量可增减）；

（2）子层视图： 每个编码器模块包括两个子层：

• 每个编码器模块包括两个子层：

• 子层 1：包括：注意力①、(残差+层归一化）；
• 子层 2：包括：前馈网络、(残差+层归一化）；

• 每个解码器模块包括三个子层：

• 子层 1：包括：注意力②、(残差+层归一化）；
• 子层 2：包括：注意力③、(残差+层归一化）；
• 子层 3：包括：前馈网络、(残差+层归一化）；

2.2 transformer 编码器

还需要解决的问题：

• K-Q-V 注意力：我们如何从单个词嵌入中得到 K、Q、V 向量？
• 多头注意力：在单层中关注多个地方。
• 帮助训练的技巧（这些技巧并不能改善模型的能力，但它们有助于改善训练过程）：

• 残差连接
• 层归一化
• 缩放点积

（1）K-Q-V注意力

1）自注意力机制

自注意力是指键(K)、查询(Q)和值(V)来自同一数据来源，即 K=Q=V。

Transformer 以特定方式执行此操作:
令 $x_{1}, x_{2}, \cdots, x_{T}$ 是 Transformer 编码器的输入向量, 其中 $x_{i} \in R^{d}$, 则键 $(K)$ 、查询 $(Q)$ 、值 $(V)$ 是:
$\begin{aligned} k_{i} &=K x_{i} \\ q_{i} &=Q x_{i} \\ v_{i} &=V x_{i} \end{aligned}$

• 其中: 矩阵 $K \in R^{d \times d} ; Q \in R^{d \times d} ; V \in R^{d \times d}$
• 这些矩阵允许将x向量的不同方面用于三个角色的每一个。

2）计算 K-Q-V 注意力（矩阵形式）：

令 $\mathrm{X}=\left[x_{1}, x_{2}, \cdots, x_{T}\right] \in \mathrm{R}^{\mathrm{T} \times \mathrm{d}}$

• $X K \in R^{T \times d}, X Q \in R^{T \times d}, X V \in R^{T \times d}$
• 输出定义为: output = $\operatorname{softmax}\left(X Q(X K)^{\mathrm{T}} \times X V\right)$
• 即计算过程：首先, 在一个矩阵乘法中取查询和键的点积, 得到: $X Q(X K)^{\mathrm{T}}$；其次, 对上述结果进行 softmax 计算, 再乘以矩阵 $X V$, 得到: $\operatorname{softmax}\left(X Q(X K)^{\mathrm{T}}\right) \times X V$

（2）多头注意力

如果想一次查询（Q）句子中的多个位置：
对于单词 $\mathrm{i}$， self-attention 只 “看” $x_{i}^{T} Q^{T} K x_{j}$ 分数高的地方, 即单头注意力, 见上图的（b） 。
但是, 若出于不同的原因想要关注不同的 $\mathrm{j}$，则可通过多个 $\mathrm{Q} 、 \mathrm{~K} 、 \mathrm{~V}$：

令: $Q_{l}, K_{l}, V_{l} \in R^{d \times d / h}$, 其中 $h$ 是注意力头的数量, $l$ 的范围从 1 到 $h$,

则: 每个注意力头独立地计算注意力:$\text { output }_{l}=\operatorname{softmax}\left(X Q_{l} K_{l}^{T} X^{T}\right) * X V_{l}$

其中:output $_{l} \in R^{d / h}$

然后合并所有头的输出:$\text { output }=Y \text { [output }_{1}, \ldots, \text { output }_{h} \text { ] }$

其中: $Y \in R^{d \times d}$

因此, 每个头都可以 “看” 不同的事物, 并以不同的方式构建值 ( $\mathrm{V}$ ) 向量。多头注意力和单头自注意力有相同的计算量。最简单的多头注意力，即两头注意力（如下图的c）：

（3）残差连接

何恺明2016年提出的残差连接，使得更好的训练。我们不是通过 $X^{(i)}=\operatorname{Layer}\left(X^{(i-1)}\right)$ 而是让 $X^{(i)}=X^{(i-1)}+\operatorname{Layer}\left(X^{(i-1)}\right)$ 从前一层学习 “残差” (其中 i 代表层)。 因为残差连接使损失情况更加平滑, 所以使网络模型更容易训练，见下图（a）：

（4）层归一化

Ba et al.[2016]提出层归一化（如上图的b），其主要作用是帮助模型更快训练。
想法：通过对每一层的单位均值和标准偏差进行归一化，减少隐藏向量值中的无信息含量的变异。 LayerNorm 的成功可能归功于它的归一化梯度 [Xu 等人，2019]。

令: $X \in \mathbb{R}^{d}$, 它是模型中的一个单独的（词）向量;
$\begin{aligned} &\mu=\sum_{\mathrm{j}=1}^{\mathrm{d}} \mathrm{x}_{\mathrm{j}} \\ &\sigma=\sqrt{\frac{1}{\mathrm{~d}} \sum_{\mathrm{j}=1}^{\mathrm{d}}\left(x_{j}-\mu\right)^{2}} \end{aligned}$
则层归一化计算:
$\text { output }=\frac{x-\mu}{\sqrt{\sigma}+\epsilon} \gamma+\beta$
其中:

• 平均值 $\mu=\sum_{j=1}^{d} x_{j}$;
• 标准差 $\sigma=\sqrt{\frac{1}{d} \sum_{j=1}^{d}\left(x_{j}-\mu\right)^{2}}$
• $\gamma \in \mathbb{R}^{d}$ 和 $\beta \in \mathbb{R}^{d}$

（5）点积缩放

Vaswani et al.[2017]提出点积缩放，它是帮助 Transformer 训练的最终变体。 当维度 d 变大时，向量之间的点积越来越大，使得 softmax 函数的输入可能很大，从而使梯度变小。 所以，我们不是使用前面见过的自注意力函数：$\text { output }=\operatorname{softmax}\left(X Q_{\ell} K_{\ell}^{T} X^{T}\right) * X V_{\ell}$
而是将注意力分数除以 $\sqrt{\mathrm{d} / \mathrm{h}}$, 以阻止分数变大, 就像 $\mathrm{d} / \mathrm{h}$ 的函数一样（维度除以头的数量）
$\text { output }_{\ell}=\operatorname{softmax}\left(\frac{X Q_{\ell} K_{\ell}^{T} X^{T}}{\sqrt{\mathrm{d} / \mathrm{h}}}\right) * X V_{\ell}$
总而言之, 点积缩放注意力分为标准四步: 点积、缩放、分布、输出:
$\begin{aligned} &\mathrm{Q} \cdot \mathrm{K}^{\mathrm{T}} \\ &\frac{\mathrm{Q} \cdot \mathrm{K}^{\mathrm{T}}}{\sqrt{\mathrm{d}_{\mathrm{k}}}} \\ &\operatorname{softmax}\left(\frac{\mathrm{Q} \cdot \mathrm{K}^{\mathrm{T}}}{\sqrt{\mathrm{d_{\textrm{k } }}}}\right) \\ &\operatorname{softmax}\left(\frac{\mathrm{Q} \cdot \mathrm{K}^{\mathrm{T}}}{\sqrt{\mathrm{d_{\textrm{k } }}}}\right) \cdot \mathrm{V} \end{aligned}$

2.3 transformer 解码器

（1）掩码注意力

解码器的多头掩码自注意力，Q、K、V 度来来同一数据源，即 Q=K=V，注意力的计算也是四个步骤： 点积、缩放、分布、输出（见见2.2的5.点积缩放）。注意，掩码操作（见1.5的3掩码矩阵）在缩放计算之后。

（2）交叉注意力

1）解码器的多头交叉注意力

解码器的多头交叉注意力 (也称互注意力), $\mathrm{Q} \neq \mathrm{K}=\mathrm{V}$, 即 $\mathrm{Q}$ 来自上一个解码器, $\mathrm{K}$ 和 $\mathrm{V}$

令: $h_{1}, h_{2}, \cdots, h_{T}$ 是输出向量, 来自 Transformer 编码器; $x_{i} \in R^{d}$,
$\quad z_{1}, z_{2}, \cdots, z_{T}$ 是输入向量, 来自 Transformer 解码器, $z_{i} \in R^{d}$,

则: 从编码器中提取键和值 (如内存) $: k_{i}=K h_{i}, v_{i}=V h_{i}$
从解码器中提取查询: $q_{i}=Q z_{i}$。

2）如何在矩阵中计算交叉注意力：

令: $\mathrm{H}=\left[h_{1}, h_{2}, \cdots, h_{T}\right] \in R^{T \times d}$ 是编码器向量的串联,
$\quad \mathrm{Z}=\left[z_{1}, z_{2}, \cdots, z_{T}\right] \in R^{T \times d}$

则: 输出定义为:

$output = \operatorname{softmax}\left(Z Q(H K)^{\mathrm{T}} \times H V\right)$

即: 首先, 在一个矩阵乘法中取查询键点积: $Z Q(H K)^{\mathrm{T}}$，其次，softmax，并用另一个矩阵乘法计算加权平均值。 由此可知，交叉注意力的计算也是标准的四个步骤：点积、缩放、分布、输出。

2.4 transformer 总体架构

上图是在原始论文中 Transformer 架构图的基础上，稍作修改，为了方便描述和记忆，这里对源代 码1中的 12 个类（class）名进行了编号:

• C12：EncoderDecoder C12 是编码器解码器，它是个总类，包括 2 个 C1、2 个 C2、1 个 C9、1 个 C10、1 个 C11；
• C11：Generator C11 是输出，包括一个全连接层和一个 softmax 层，负责把 top-N 候选输出序列找出来；
• C10：Decoder C10 是解码器栈，包含 6 个 C7 和 1 个 C8；
• C9：Encoder C9 是编码器栈，包含 6 个 C6 和 1 个 C8；
• C8：LayerNorm C8 是层归一化（带有可训练参数的，批归一化）；
• C7：DecoderLayer C7 是解码器，包含 1 个 C3、2 个 C4 和 1 个 C5；
• C6：EncoderLayer C6 是编码器，包含 1 个 C3、2 个 C4 和 1 个 C5；
• C5：PositionwiseFeedForward C5 是前馈网络（两层，全连接）
• C4：SubLayerConnection C4 是残差连接和层归一化；
• C3：MultiHeadedAttention C3 是多头注意力，包含三种：标准自注意力、掩码自注意力、交叉注意力；
• C2：PositionalEncoding C2 是位置编码；
• C1：Embeddings C1 是词嵌入。

哈佛大学的学者根据《Attention is All You Need》论文而编写的 Transformer 的 PyTorch 代码网址： http://nlp.seas.harvard.edu/2018/04/03/attention.html

2.5 transformer的12个类

（1）embeddings

Embedding 就是根据独热向量和学习嵌入 (word2vec) , 将输入符记和输出符记转换为维度 $\mathrm{d}_{\text {model }}$ $(=512)$ 的向量。我们还使用通常学习的线性变换和 softmax 函数将解码器输出转换为预测的下一个符记 概率。在我们的模型中, 我们在两个嵌入层和 pre-softmax 线性变换之间共享相同的权重矩阵。在嵌入层 中, 我们将这些权重乘以 $\sqrt{d_{\text {model }}}$

（2）Positional Encoding

位置编码的作用是为模型提供当前时间步的前后出现顺序的信息。 RNN 最大的优点就是在时间序列上对数据的抽象，有天然的先后顺序。 但是，因为 Transformer 抛弃了 RNN，即没有位置信息（就像词袋），所以必须加入位置信息。

• 为了让模型利用序列的顺序，需要注入一些关于符记在序列中的相对或绝对位置的信息。为此， 我们在编码器和解码器堆栈底部的输入嵌入中添加了“位置编码”。
• 位置编码与嵌入具有相同的维度 $d_{model}$， 因此可以将两者相加。位置编码有多种选择，诸如学到的和固定的。位置编码可以分为绝对位置和相对位置（Relative Position Representations ，RPR)。Shaw 等人（2018）指出，在同一个 sequence 中使用相对位置更好。
• 为了进行位置编码，使用不同频率的正弦和余弦函数：$\begin{aligned} &\mathrm{PE}_{(\text {pos }, 2 \mathrm{i})}=\sin \left(\operatorname{pos} / 10000^{2 \mathrm{i} / \mathrm{d}_{\text {model }}}\right) \\ &\mathrm{PE}_{(\text {pos }, 2 \mathrm{i}+1)}=\cos \left(\operatorname{pos} / 10000^{2 \mathrm{i} / \mathrm{d}_{\text {model }}}\right) \end{aligned}$
  其中 pos 是位置, $\mathrm{i}$ 是维度。也就是说, 位置编码的每个维度对应一个正弦曲线。波长形成从 $2 \pi$ 到 $10000 * 2 \pi$ 的几何级数。我们选择这个函数是因为我们假设它可以让模型很容易地学会通过相对位置来关注, 因为对于任何固定的偏移量 $\mathrm{k}, \mathrm{PE}_{\mathrm{pos}+\mathrm{k}}$ 可以表示为线性函数 $\mathrm{PE}_{\mathrm{pos}}$ 。
  此外, 我们将 dropout 应用于编码器和解码器堆栈中的嵌入和位置编码的总和。对于基本模型, 我们 使用 $P_{\text {drop }}=0.1$

（3）Multi-Headed Attention

（4）SubLayerConnection

（5）PositionwiseFeedForward

（6）EncoderLayer

这个类 C6 只对一个编码器进行封装，包括两个子层：
子层 1：C3 和 C4;
子层 2：C5 和 C4。

（7）DecoderLayer

这个类 C7 只对一个解码器进行封装，包括三个子层：
子层 1：C3 和 C4;
子层 2：C3 和 C4;
子层 3：C5 和 C4。

（8）LayerNorm

（9）Encoder

这个类 C9 对六个编码器 C6 和一个层归一化类 C8 进行封装。

（10）Decoder

这个类 C10 对六个解码器 C7 和一个层归一化类 C8 进行封装。

（11）Generator

这个类的作用是：通过对数值进行 linage+softmax 转换，预测下一个单词。

解码器栈的输出是一个 float 向量。我们怎么把这个向量转换为一个词呢？通过一个线性层再加上一 个 Softmax 层实现转换，转换后的维度对应着输出类别的个数。若是翻译任务，则对应的是字典的大小。

• 首先，线性层是一个简单的全连接神经网络，将解码器栈的输出向量映射到一个更长的向量，这个向 量被称为 logits 向量。假设词典有 10000 个单词，则 logits 向量有 10000 个数值，每个数表示一个单词 的分数。
• 然后，Softmax 层会把这些分数转换为概率（把所有的分数转换为正数，并且加起来等于 1）。
• 最后，选择最高概率所对应的单词，作为这个时间步的输出。

（12）EncoderDecoder

这个类 C12 是总类，对输出模块 C11、解码器 10、编码器 C9、输入模块 C1 和 C2 进行封装。

三、Transformers强大结果

3.1 机器翻译

3.2 文档生成

在文档生成方面，[Liu et al., 2018]研究表明：生成英文维基百科文章可以作为源文档的多文档 摘要来处理。我们使用提取摘要来粗略地识别显着信息和神经抽象模型来生成文章。对于抽象模型，我们 引入了一种仅含解码器架构，该架构可以扩展地处理非常长的序列，比序列转换中使用的典型编码器解码 器架构长得多。该模型可以生成流畅、连贯的多句段落，甚至可以生成整个维基百科文章。当给定参考文 件时，它可以提取相关的事实信息，如困惑度、ROUGE 分数和人工评估所反映的那样，见表：

3.3 预训练

不久之后，大多数 Transformers 结果还包括预训练。 Transformer 的可并行性允许有效的预训练，并使它们成为事实上的标准。 通用语言理解评估基准（GLUE）是用于评估和分析多种已有自然语言理解任务的模型性能的工具。

模型基于在所有任务的平均准确率进行评估。当前最佳结果可以在公开 GLUE 排行榜上查看。 在这个流行的基准上，所有顶级模型都是基于 Transformer（和预训练）的，见表：

基于 Transformer 和预训练模型的 GLUE 排行榜

四、Drawbacks and variants of Transformers

4.1 优点：并行计算

自注意力相对于循环的好处之一是它是高度可并行化的。

4.2 缺点：平方计算

自注意力中的平方计算: 计算所有交互对意味着我们的计算量与序列长度成二次方增长！而对于循环 模型, 它只是线性增长!

作为序列长度函数的平方计算, 它的操作总数随着 $O\left(T^{2} d\right)$ 增长, 其中 $T$ 是序列长度, 而 $d$ 是维度。 需要计算所有的交互对, 时间复杂度是 $O\left(T^{2} d\right)$, 见图：

例如, 假设 $\mathrm{d}=1000$, 那么, 对于单个 (较短的) 句子, $\mathrm{T} \leqslant 30, \mathrm{~T}^{2} \leqslant 900$ 。

在实践中, 我们一般设置了一个界限, 如 $\mathrm{T}=512$ 。

但是, 如果我们想要处理长文档, $\mathrm{T} \geqslant 10,000$, 那么计算成本巨大。

4.3 探索：位置表示

简单的绝对索引是否是我们可以用来表示位置的最佳方法吗？因此，有人作了以下探讨：
(1) 相对线性位置注意力 [Shaw et al., 2018]；
(2) 基于依存句法的位置 [Wang et al., 2019]。

Reference

（1）https://zhuanlan.zhihu.com/p/430709084