一、资源（1）预训练模型权重链接: https://pan.baidu.com/s/10BCm_qOlajUU3YyFDdLVBQ 密码: 1upi（2）数据集选择的THUCNews，自行下载并整理出10w条数据，内容是10类新闻文本标题的中文分类问题（10分类），每类新闻标题数据量相等，为1w条。数据集可在我的百度网盘自行下载：链接: https://pan.bai
转载
2023-11-03 20:41:32
106阅读
本文主要根据“Attention Is All You Need”里的提到的transformer来实现的。 主要参考了：http://nlp.seas.harvard.edu/2018/04/03/attention.htmlhttps://kexue.fm/archives/4765概述在过去的一年中，根据“Attention Is Al You Need”所提到的transformer已经给
转载
2023-10-22 10:28:09
231阅读
大家好，今天和各位分享一下如何使用 Pytorch 构建 Transformer 模型。本文的重点在代码复现，部分知识点介绍的不多，我会在之后的四篇博文中详细介绍 Encoder，Decoder，(Mask)MutiHeadAttention，以及实战案例。之前我也介绍过 Vision Tranformer，该模型的 Pytorch 和 TensorFlow2 的复现和实战案例可以看我的这两篇博文
转载
2023-11-10 14:49:46
908阅读
from IPython.display import Image
Image(filename='images/aiayn.png') 在过去的一年里，中的变形金刚。除了在翻译质量上产生重大改进外，它还为许多其他 NLP 任务提供了新的架构。论文本身写得很清楚，但传统观点认为要正确实施是相当困难的。在这篇文章中，我以逐行实现的形式展示了该论文的“注释”版本。我重新排序并删除了原始
转载
2024-08-15 10:32:33
142阅读
# 理解 PyTorch 中的 Transformer 模型
## 引言
随着自然语言处理（NLP）技术的发展，Transformer 模型因其优越的性能而受到了广泛关注。PyTorch 提供了一种灵活、易用的方式来实现和训练 Transformer 模型。本文将介绍 Transformer 的基本原理，并提供一个简单的实现示例，帮助读者迅速上手。
## 什么是 Transformer？
# 探索 PyTorch 的 Transformer 模型
在机器学习和深度学习的快速发展中，Transformer 模型作为一种强大的架构，在自然语言处理（NLP）和计算机视觉等领域取得了显著的成果。这篇文章将深入探讨 PyTorch 中的 Transformer 模型，帮助你理解其核心概念，并通过代码示例演示如何实现它。
## 什么是 Transformer？
Transformer 模
huggingface团队在pytorch框架下开发了transformers工具包：https://github.com/huggingface/transformers，工具包实现了大量基于transformer的模型，如albert，bert，roberta等。工具包的代码结构如图所示：其中比较重要的是src/transformers以及example这两个文件夹。其中，src/transf
转载
2023-10-15 10:55:17
484阅读
目录：前言数据处理Transformer各个模块具体实现
词嵌入层位置编码(positional encoding）编码器
多头自注意力层归一化残差连接逐位置前馈网络(Position-wise Feed-Forward Networks）编码器整体架构解码器Transformer模型整体架构模型训练及预测
标签平滑计算损失优化器训练预测前言我们在前面介绍了Transformer的理论，但是始终只
转载
2023-07-16 18:11:22
262阅读
注意：这一文章“基于Transformer的文本情感分析编程实践（Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码）”
该文章实现的Transformer的Model类型模型，实际是改造过的特别版的Transformer，因为Transformer的Model类型模型中只实现了Encoder编码器，
而没有对应
转载
2023-12-29 12:26:40
221阅读
Transformer在近几年的热度一直居高不下，之前也简单了解了一下该网络架构，但是它的源码一直没有深度了解，所以对它也始终是一知半解的，毕竟Talk is cheap, show me your code。恰好这几天有时间），找到了之前收藏的一篇还不错的英文博客，打算将其翻译下来，一方面倒逼自己再对其进行深度的理解，另一方面希望本文以及原
转载
2023-11-22 08:36:38
181阅读
Pytorch中torchvision包transforms模块应用小案例Pytorch提供了torchvision这样一个视觉工具包，提供了很多视觉图像处理的工具，其中transforms模块主要提供了PIL Image对象和Tensor对象的常用操作，其中最核心的三个操作分别是： （1）ToTensor：将PIL Image对象转换成Tensor，同时会自动将[0,255]归一化至[0,1]。
转载
2023-10-02 16:19:15
217阅读
PyTorch torchvision.transforms的方法在实际应用过程中，我们需要在数据进入模型之前进行一些预处理，例如数据中心化(仅减均值)，数据标准化(减均值，再除以标准差)，随机裁剪，旋转一定角度，镜像等一系列操作。PyTorch有一系列数据增强方法供大家使用。在PyTorch中，这些数据增强方法放在了transforms.py文件中。这些数据处理可以满足我们大部分的需求，而且通过
转载
2024-06-14 22:43:23
133阅读
在我的前一篇文章：Pytorch的第一步：(1) Dataset类的使用 里，不论是使用 torchvision.datasets 还是我们自定义了 Dataset 子类，都有一个形参 transforms 被传入。上篇文章我没有详细讲解，是因为这是一块很大的内容，故专门写本文讲解。 transforms 是图像处理函数，主要用于对索引出来的图片进行 剪切、翻转、平移、仿射等操作，也就是得到我们想
转载
2023-10-24 21:22:29
182阅读
如果是刚接触Transformer，强烈建议去把上边两个看了！！！在此之前，希望你能仔细读2遍原文！！！这里其实想讲一下为什么通过自注意力机制，就能够预测出来目标值了。一开始我也比较懵懵懂懂，毕竟刚接触， 只知道我的输入a = "我 有 一只 猫" 经过encoder 和 decoder 之后，就得到了b = "I have a cat ", 后来想了想，我觉得大致是这样的，Encoder里边的M
转载
2024-06-21 23:12:33
80阅读
目录torch.nn子模块transformer详解nn.TransformerTransformer 类描述Transformer 类的功能和作用Transformer 类的参数forward 方法参数输出示例代码注意事项nn.TransformerEncoderTransformerEncoder 类描述TransformerEncoder 类的功能和作用TransformerEncoder
转载
2024-06-11 23:10:45
128阅读
目标以词性标注任务为例子，实现Transformer，并分析实现Pytorch的源码解读。数据准备所选的数据为nltk数据工具中的treebank数据集。treebank数据集的样子如以下两幅图所示： 该数据集中解释变量为若干句完整的句子： 被解释变量为该句子中每个词的词性： 具体每个词性简写的意思，大概如下文所示（参考博客）：标注词表：
名词：NN,NNS,NNP,NNPS
代词：PRP，PRP
转载
2023-11-27 09:24:24
556阅读
# 实现 Transformer 模型的步骤
本文将向你介绍如何使用 PyTorch 实现 Transformer 模型，让你能够理解其实现原理和代码细节。首先，我们来看一下整个实现过程的流程图：
```flow
st=>start: 开始
e=>end: 结束
op1=>operation: 数据准备
op2=>operation: 构建模型
op3=>operation: 定义损失函数和优
原创
2023-08-13 07:14:16
102阅读
# PyTorch Transformer 实现步骤
## 1. 安装 PyTorch 和 Transformers 库
首先，我们需要安装所需的库。在命令行中运行以下命令：
```bash
pip install torch
pip install transformers
```
## 2. 导入所需的库
在代码的开头，我们需要导入 PyTorch 和 Transformers 库：
原创
2023-07-23 23:44:34
618阅读
输入图片尺寸 Batch_size*H*W送入SwinTransformer
PatchEmbedding【Parameter】
每个patch 分别进行EmbeddingBatch_size*H*W——>Batch_size,Patch_H*Patch_W,emb_dim每个图片加1,Patch_H*Patch*W,emb_dim大小的绝对位置embedding送入Basi
转载
2023-12-18 22:08:15
140阅读
编辑：杜伟近一两年，Transformer 跨界 CV 任务不再是什么新鲜事了。自 2020 年 10 月谷歌提出 Vision Transformer (ViT) 以来，各式各样视觉 Transformer 开始在图像合成、点云处理、视觉 - 语言建模等领域大显身手。之后，在 PyTorch 中实现 Vision Transformer 成为了研究热点。GitHub 中也出现了很多优秀的项目，
转载
2023-12-11 13:46:06
130阅读
