Transformer：Pytorch版本的源码解析Transformer源码详解（Pytorch版本）史上最小白之Transformer详解Transformer详解（看不懂你来骂我
r家族近期炙手可热，不仅霸占了NLP领域的江山，在CV领域也有踢馆CNN的趋势 。那么它有那么牛吗？牛啊牛？在弱人工智能时代，没有永远的神，tra
转载
2021-07-25 14:35:36
175阅读
Transformer Model 性质: 1. Transformer是Seq2Seq类模型. 2. ran
转载
2021-02-17 17:55:00
78阅读
2评论
好像是qi 服从（0，1）正态分布，q * k 服从 （0，d）正态分布，除以根号d，就保证得到的乘积仍然满足N（0，1）
原创
2021-08-04 09:58:29
142阅读
https://zhuanlan.zhihu.com/p/80986272http://nlp.seas.harvard.edu/2018/04/03/attention.htmlhttps://zhuanlan.zhihu.com/p/54675834超参数VariablesvalueNNN6dmodeld_{model}dmodel512dffd_{ff}dff2048hhh8dkd_kdk64dvd_vdv64Pdro
原创
2021-08-04 10:27:04
125阅读
Transformer 在之前的章节中，我们已经介绍了主流的神经网络架构如卷积神经网络（CNNs）和循环神经网络（RNNs）。让我们进行一些回顾： CNNs 易于并行化，却不适合捕捉变长序列内的依赖关系。 RNNs 适合捕捉长距离变长序列的依赖，但是却难以实现并行化处理序列。 为了整合CNN和RNN
原创
2021-08-06 09:59:59
216阅读
2019-10-09 19:54:42 问题描述：谈谈对Transformer的理解。 问题求解： Transformer 整体架构 Transformer 是典型的Seq2Seq架构的模型，其核心的骨架依然是encoder-decoder两个模块，和传统的S2S问题不同的地方在于Transform
转载
2019-10-09 19:55:00
100阅读
2评论
The Illustrated Transformer Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 points, 3 comments)Translations: Chinese (S ...
转载
2021-09-07 15:38:00
221阅读
2评论
import torch.nn as nn from .decoder import Decoder from .encoder import Encoder class Transformer(nn.Module): #定义类，继承父类nn.Module """An encoder-decoder ...
转载
2021-10-19 19:46:00
85阅读
2评论
论文用的是2021 8月17日的版本。Swin Transformer是ICCV 2021的最佳论文，这一篇论文是继Vit之后的Transformer在CV领域
最近Transformer的文章看的有点多，正好昨天发现一篇整理的比较好的文章，在这里翻译一下分享给大家。
鉴于内容有点多，之后将对本文章持续更新...
（一）Attention 以及 Self-Attention
1.Attention
是神经网络中的一种机制：模型可以通过选择性地关注给定的数据集来学习做出预测。Attention的个数是通过学习权重来量化的，输出则通常是一个加权平均值
原创
2021-07-13 10:02:42
307阅读
今天起会一一更新 transformer BERT ，transformer XL XLNET的对应笔记 import torch def padding_mask(seq, pad_idx): return (seq != pad_idx).unsqueeze(-2) # [B, 1, L] de ...
转载
2021-07-11 21:03:00
381阅读
2评论
一、提出背景 因为之前的LSTM、GRU等RNN的结构，虽然一定程度上解决了长程依赖的问题，但是还是没有根本解决超过一定范围的长程依赖问题。并且，RNN的顺序计算使得模型训练速度慢的问题。 提出Tranformer：1、并行计算，大大减少训练时间，摒弃了RNN、CNN的使用。 2、仅仅依赖多头自注意 ...
转载
2021-09-26 20:49:00
419阅读
2评论
1：transformer结构 2：单个的encoder 2.1输入部分 2.1.1embedding 2.1.2位置编码 【注】RNN是按照时间线展开，单词的先后顺序没有被忽略。而transformer是并行处理的，故增快了速度，忽略了单词之间的先后顺序。 2.2注意力机制 2.2.1注意力机制 ...
转载
2021-09-28 00:14:00
188阅读
2评论
基础结构：输入：[batch_size，sequence_length，embedding dimension]batch_size：句子的个数sequence_length：句子的长度embedding dimension：vocab_size：总字数embedding_size：字向量维度的大小什么是位置嵌入？位置嵌入提供了每个字的位置信息。位置嵌入的维度是：[max sequence_len
转载
2020-07-19 15:25:00
43阅读
2评论
本文系简要笔记，作者李宏毅，原地址：https://www.youtube.com/watch?v=ugWDIIOHtPA&list=PLJV_el3uVTsOK_ZK5L0Iv_EQoL1JefRL4&index=61 1 背景 RNN ↑在seq2seq任务中，多使用RNN结构。 RNN可以是单 ...
转载
2021-08-25 10:15:00
39阅读
2评论
@toc写在最前边翻译讲究：信、达、雅。要在保障意思准确的情况下传递作者的意图，并且尽量让文本优美。但是大家对我一个理工科少女的语言要求不要太高，本文只能保证在尽量通顺的情况下还原原文。注意本文的组成部分：翻译+我的注释。添加注释是因为在阅读的过程中，我感觉有的地方可能表述的并不是特别详细。对于一些真正的小白，像我一样傻的来说，可能不太好理解。正文在之前的文章中，我们讲了现代神经网络常用的一种方法
