cnn和transformer对比 transformer与cnn结合

bert就是无监督训练的transformer

transformer :seq2seq model with “self-attention”

单向的RNN:

在输出b⁴的时候，已经看了a¹~a⁴

在输出b³的时候，已经看了a¹~a³

双向的RNN:

在输出每一个bⁱ的时候，已经看了a¹~a⁴

RNN的优点：

可以考虑到长距离的依赖

RNN的缺点：

不能实现并行化

也可以用CNN来处理序列数据，图中每一个三角代表一个filter
CNN的优点：如果想要考虑长距离依赖，需要叠加多层filter
CNN的优点：可以实现并行运算（所有的黄色三角可以同时进行，黄色和橙色也可以同时进行）

计算attention的做法就是 取两个向量qⁱ和k^j,得到一个向量α_ij，代表qⁱ和k^j的相似程度

soft-max 的作用：归一化处理

self-attention不仅可以考虑global information，还可以考虑local information. 如果要考虑local information 只要让α_ijhead为0，就可以不考虑它对应的V^j(α_ijhead和V^j的乘积为0)

self-attention做的事情和RNN是一样的，只是self-attention中 b¹~b⁴的计算可以同时进行，实现并行化

self-attention都是通过矩阵进行计算的

对A(A中的每一个元素都是input中两两position的attention)的每一个column做softmax得到 A head

最后O就是self-attention layer的输出

从矩阵的角度，self-attention layer做了什么

gpu可以加速矩阵乘法

每一个head的关注点不一样，各司其职

每两两input vector 做 attention, 每一个input vector 对其他input vector 都有“天涯若比邻”的效果，所以对于self-attention layer来说，不能感知到输入数据的序列。“A打了B”和“B打了A”对于self-attention来说是一样的。

在Xⁱ上concat一个pⁱ, pⁱ是独热编码，标志了Xⁱ在输入中的位置

W^p不是learn出来的（在learn的过程中发现效果不好），是人手设的，用公式推导出来的

W^p的样子，感觉很神奇，矩阵还可以用图显示出来

transformer是一个seq2seq model

用seq2seq的地方，都可以用transformer来取代