鼠年大吉HAPPY 2020'S NEW YEAR文本分类是NLP领域的较为容易的入门问题，本文记录文本分类任务的基本流程，大部分操作使用了torch和torchtext两个库。1. 文本数据预处理首先数据存储在三个csv文件中，分别是train.csv，valid.csv，test.csv，第一列存储的是文本数据，例如情感分类问题经常是用户的评论review，例如imdb或者amazo
转载
2024-06-07 09:25:44
53阅读
单词嵌入提供了单词的密集表示及其相对含义，它们是对简单包模型表示中使用的稀疏表示的改进，可以从文本数据中学习字嵌入，并在项目之间重复使用。它们也可以作为拟合文本数据的神经网络的一部分来学习。Word Embedding单词嵌入是使用密集的矢量表示来表示单词和文档的一类方法。词嵌入是对传统的词袋模型编码方案的改进，传统方法使用大而稀疏的矢量来表示每个单词或者在矢量内对每个单词进行评分以表示整个词汇表
当前，说到深度学习中的对抗，一般会有两个含义：一个是生成对抗网络（Generative Adversarial Networks，GAN），代表着一大类先进的生成模型；另一个则是跟对抗攻击、对抗样本相关的领域，它跟 GAN 相关，但又很不一样，它主要关心的是模型在小扰动下的稳健性。本人之前所涉及的对抗话题，都是前一种含义，而今天，我们来聊聊后一种含义中的“对抗训练”。本文包括如下内容：对抗样本、
目录一、模型保存与加载 Saving & Loading Model1. 原因2. 序列化与反序列化3. PyTorch序列化与反序列化4. 模型保存5. 模型加载二、模型段点续训练1. 原因2. 模型保存的参数3. 断点续训练三、参考 一、模型保存与加载 Saving & Loading Model模型的保存与加载，也可以称之为序列化与反序列化。1. 原因训练好的模型是为了以后
转载
2024-01-11 09:46:43
453阅读
自己这两天改代码的一些经历，记录一下。DDP对于多卡训练，Pytorch支持nn.DataParallel 和nn.parallel.DistributedDataParallel这两种方式。其中nn.DataParallel 最简单但是效率不高，nn.parallel.DistributedDataParallel(DDP)不仅支持多卡，同时还支持多机分布式训练，速度更快，更加强大。理论上来说，
转载
2023-12-07 01:04:19
107阅读
PyTorch-10 自定义数据集实战（Load data自定义数据集、Build model创建一个模型、Train and Test、Transfer Learning迁移学习）我们以Pokemon Dataset作为自定义数据集：数据集下载地址 主要以下面5类小精灵。 查看一下分别有多少张图片，以及splitting划分train和test的比例: 我们并不是每一类的60%做training
转载
2024-06-17 16:21:58
451阅读
文章目录前言数据Dataset类DataLoader类transform裁剪-Crop翻转和旋转-Flip and Rotation图像变换对transforms操作，使数据增强更灵活模型模型定义权值初始化权值初始化流程常用初始化方法模型Finetune用预训练的模型参数对新模型的权值进行初始化不同层设置不同的学习率损失函数和优化器损失函数L1范数损失 L1Loss均方误差损失 MSELoss交
转载
2023-08-10 14:25:46
319阅读
# 在 PyTorch 中实现固定Embedding不训练
在自然语言处理（NLP）的模型中，Embedding 层通常用于将离散的词汇映射到连续的向量空间。然而，在某些情况下，我们可能希望将预训练的嵌入保持固定，不让其在训练过程中更新。本文将介绍如何在 PyTorch 中完成这一任务。
## 流程概述
以下是实现固定Embedding而不训练的步骤：
| 步骤 | 操作
Pytorch学习笔记之Pytorch训练词向量（三）学习目标学习词向量的概念用Skip-thought模型训练词向量学习使用PyTorch dataset和dataloader学习定义PyTorch模型学习torch.nn中常见的Module
Embedding学习常见的PyTorch operations
bmmlogsigmoid保存和读取PyTorch模型使用的训练数据可以从以
转载
2023-11-07 03:25:24
129阅读
度量学习（Metric Learning）是机器学习过程中经常用到的一种方法，它可以借助一系列观测，构造出对应的度量函数，从而学习数据间的距离或差异，有效地描述样本之间的相似度。CUB200 数据集样本示例，常被用作度量学习的 benchmark这个度量函数对于相似度高的观测值，会返回一个小的距离值；对于差异巨大的观测值，则会返回一个大的距离值。当样本量不大时，度量学习在处理分类任务的准确率和高效
转载
2024-08-01 17:38:01
91阅读
Graph Embedding需要提供和序列采样出的类似的关系样本数据，只不过现在高了一个维度，于是整个样本构建的流程就变成了先按照业务关系构造图，然后从图采样到序列，再从序列采样到样本，才能作为Embedding训练模型的输入Item2Vec 也通过商品的组合去生成商品的 Embedding，这里商品的组合也是序列式的，我们可以称他们为“Sequence Embedding”更多场景下，数据对象
转载
2023-09-20 15:51:08
9阅读
文章目录什么是 Word2vec？Word2vec 的样本是怎么生成的？Word2vec 模型的结构是什么样的？怎样把词向量从 Word2vec 模型中提取出来？Word2vec 对 Embedding 技术的奠基性意义Item2Vec：Word2vec 方法的推广Word2vec代码实现 提到 Embedding，就一定要深入讲解一下 Word2vec。它不仅让词向量在自然语言处理领域再度流
转载
2024-06-07 16:34:26
71阅读
Module 是 pytorch 提供的一个基类，每次我们要 搭建 自己的神经网络的时候都要继承这个类，继承这个类会使得我们 搭建网络的过程变得异常简单。本文主要关注 Module 类的内部是怎么样的。初始化方法中做了什么def __init__(self):
self._backend = thnn_backend
self._parameters = OrderedDict()
转载
2024-01-05 22:05:17
55阅读
本文实例为大家分享了使用RNN进行文本分类，python代码实现，供大家参考，具体内容如下1、本博客项目由来是oxford 的nlp 深度学习课程第三周作业，作业要求使用LSTM进行文本分类。和上一篇CNN文本分类类似，本此代码风格也是仿照sklearn风格，三步走形式（模型实体化，模型训练和模型预测）但因为训练时间较久不知道什么时候训练比较理想，因此在次基础上加入了继续训练的功能。2、构造文本分
转载
2023-11-08 17:36:46
88阅读
这篇文章主要是之前一段时间的总结，内容是有关PyTorch中卷积部分的源码。文章不会很透彻的去研究源码，只是大概地总结一下，主要内容有：PyTorch-拓展模块PyTorch对于卷积的内部实现为什么有了cudnn还需要PyTorch实现卷积？ 很感谢网上的优质博客，正是因为有了知识的共享，人们的生活质量才会不断提高~ 本人参考源码实现的卷积链接: [点我跳转]，为PyTorc
转载
2024-04-16 21:35:45
104阅读
关于Embedding和RNN-GRU-LSTM的使用详解
1. Embedding的使用pytorch中实现了Embedding，下面是关于Embedding的使用。torch.nn包下的Embedding，作为训练的一层，随模型训练得到适合的词向量。建立词向量层embed = torch.nn.Embedding(n_vocabulary,embed
转载
2023-08-11 20:48:51
256阅读
几种目标检测方法比较这里建议去看一篇博客，里面讲了几种目标检测方法实现的大致原理，也对几种目标检测方法进行了比较ssd的实现原理计算机要确定一幅图片中某个参数的位置，也就是对准图片中的一个物体，画出一个框，需要四个参数，中心点的x和y的坐标，w（宽），h（高），如下图 我们的计算机要确定这幅图片中猫咪的位置，画一个框，框出猫咪，就需要这个框的四个参数，中心点坐标：x和y、框的宽、框的高。那么ssd
前言前段时间面试了许多应界生同学，惊讶地发现很多同学只做深度学习，对于LR/GBDT这样的传统机器学习算法，既不掌握理论，也从未实践过。于是就想写一篇文章，梳理一下推荐算法由传统机器学习，发展到深度学习，再到未来的强化学习、图神经网络的技术发展脉络，因为「只有了解过去，才能更好地把握当下与未来」。无奈这个题目太大，再加上近来分身乏术，实在无暇宏篇大论。于是今日小撰一文，聚焦于深度学习的核心思想Em
转载
2023-09-20 15:51:01
11阅读
Text classification 文章目录Text classification加载 IMDb 数据集Preprocess 预处理EvaluateTrainInference 本文翻译自：Text classificationhttps://huggingface.co/docs/transformers/tasks/sequence_classification notebook : ht
转载
2024-09-27 20:18:23
15阅读
一、深度学习介绍二．安装（未完成）下载了anaconda ,无法安装cuda使用矩池云租用机器，硬件信息如下 提供了Jupyter记事本，非常方便保证动起手跟着学。也可以考虑fq使用谷歌的colab三、数据操作+数据预处理N维数组是深度学习的主要数据结构创建数组：（所需三样）1.形状2.每个元素的数据类型3.每个元素的值访问元素：1.某行某列:[1,2]2 .某行:[1,:]
转载
2024-07-24 15:56:02
71阅读
