1. 函数汇总Tensor 的基本运算会对 tensor 的每一个元素进行操作，此类操作的输入与输出形状一致，常用操作见下表所示。 对于很多操作，例如 div、mul、pow、fmod、等， PyTorch 都实现了运算符重载，所以可以直接使用运算符，如 a ** 2 等价于 torch.pow(a, 2), a *2 等价于 torch.mul(a, 2)。2. 函数功能2.1 torch.ab
转载
2024-06-09 13:15:30
54阅读
概述虽然tensorflow2.0发布以来还是收获了一批用户，但是在自然语言处理领域，似乎pytorch见的更多一点。关系抽取是目前自然语言处理的主流任务之一，遗憾没能找到较新能用的开源代码。一方面是因为关系抽取任务的复杂性，目前数据集较少，且标注的成本极高，尤其是中文数据集，所以针对该任务的数据集屈指可数，这也限制了这方面的研究。另一方面，关系抽取任务的复杂性，程序多数不可通用。github上有
转载
2023-08-11 19:51:34
110阅读
反向传播（BP算法）python实现1、BP算法描述BP算法就是反向传播，要输入的数据经过一个前向传播会得到一个输出，但是由于权重的原因，所以其输出会和你想要的输出有差距，这个时候就需要进行反向传播，利用梯度下降，对所有的权重进行更新，这样的话在进行前向传播就会发现其输出和你想要的输出越来越接近了。上面只是其简单的原理，具体实现起来其实就是利用了链式法则，逐步的用误差对所有权重求导，这样便反向得到
转载
2023-08-24 20:38:30
139阅读
花书第10.2.2节的计算循环神经网络的梯度看了好久，总算是把公式的推导给看懂了，记录一下过程。 首先，对于一个普通的RNN来说，其前向传播过程为： $$\textbf{a}^{(t)}=\textbf{b}+\textbf{Wh}^{t-1}+\textbf{Ux}^{(t)}$$ $$\text
转载
2020-10-11 14:48:00
473阅读
2评论
Backpropagation Through Time (BPTT) 梯度消失与梯度爆炸 下面的图显示的是RNN的结果以及数据前向流动方向 假设有 $$ \begin{split} h_t &= \tanh W\begin{pmatrix}x_t \\ h_{t 1}\end{pmatrix}\\
转载
2018-11-14 10:57:00
290阅读
2评论
激活函数到目前为止，我们使用的激活函数全部都是σ
σ
函数，然而这并不一定是最好的函数，有时其他可选的函数效果也很好，下面我们来介绍一下其他的函数。如图所示，我们在这里使用σ
σ
函数作为激活函数。我们现在使用g(z(x))，作为更一般的可以使用的函数。我们这里介绍一下tan
转载
2024-04-14 13:57:58
53阅读
# 《PyTorch官方教程中文版》， PyTorch之小试牛刀
# PyTorch的核心之一：张量，类似于numpy，但可以在GPU上运行
# 在介绍PyTorch之前，本章节将首先使用numpy实现网络
# 代码解读参考：
import numpy as np
import torch
# N是批大小; D_in是输入维度; H是隐藏的维度; D_out是输出维度。
N, D_in,
转载
2023-11-25 13:26:33
112阅读
pytorch torchvision.transforms.RandomResizedCrop 方法解读1. 包含功能：(1) Crop：随机大小和随机宽高比的裁剪，且随机的范围可以指定。(2) Resize： Resize到指定的大小。先进行随机大小和随机宽高比的Crop操作，再对Crop出来的区域进行Resize操作。2. 参数介绍下面使用的元组不是指的Python的tu
转载
2023-12-04 13:14:36
76阅读
文章目录1.PyTorch入门第一步1.1Tensor1.2 Autograd：自动微分1.3 神经网络1.3.1 定义网络1.3.2 损失函数1.3.3 优化器1.3.4 数据加载与预处理1.4 小试牛刀：CIFAR-10分类1.4.1 CIFAR-10数据加载及预处理 操作系统：Win10家庭版 陈老师在介绍里讲不建议只能使用Windows环境的人学习他这本书，可我看了几页发现真的好适合
转载
2023-07-10 23:08:26
126阅读
本教程通过自包含的示例介绍PyTorch的基本概念。在其核心，PyTorch提供了两个主要特性：一个n维张量，类似于numpy，但可以在gpu上运行自动区分建立和训练神经网络我们将使用一个全连接的ReLU网络作为运行示例。网络将有一个单独的隐藏层，并通过梯度下降训练来匹配随机数据，使网络输出与真实输出之间的欧氏距离最小化。TensorsWarm-up: numpy在介绍PyTorch之前，我们将首
转载
2023-12-07 07:24:03
74阅读
Why transforms?一般情况下收集到的图像样本在尺寸，亮度等方面存在差异，在深度学习中，我们希望样本分布是独立同分布的，因此需要对样本进行归一化预处理。有时候只能获取到少量的样本数据，获取数量较多的样本不容易。但是样本数量太少训练的模型精度会比较低，为了解决这样的问题，往往需要做数据增加data arguement， 数据增加的途径就是通过一些变换达到目的。pytorch中的transf
转载
2023-09-22 13:10:41
62阅读
最近在鼓捣使用pytorch的distributeddataparallel这个API搭一个数据并行的训练测试任务，过程中遇到了一个问题，做一下记录。1、问题 使用DDP打包了一个模型训练了一段时间，loss不断下降metric不断上升，一切都是很正常的现象。当因为意外暂停或者手动暂停更改学习率而停止了程序，再开启程序加载之前的checkpoint继续训练，却发现loss突然比之前上升或者m
转载
2023-12-06 19:26:50
58阅读
【深度学习-图像分类篇】Pytorch搭建EfficientNe图像分类网络1、理论基础1.1 EfficientNet网络简析EfficientNet 网络结构的改进之处EfficientNet不同模型的参数取值论文中不同 EfficientNet 模型的性能对比分析：EfficientNet-B0 baseline network 网络结构关于 MBConv 简析SE 注意力机制模块2、网络
转载
2023-12-18 10:29:23
143阅读
先上结论：parameter在反向传播会被optimizer.step更新，buffer在反向传播不会被更新parameter和buffer都被保存在model.state_dict()返回的OrderedDict中（这也是模型保存的对象）模型进行设备移动时，模型中注册的参数(parameter和buffer)，即model.state_dict()中的内容会同时进行移动咱来解释一下！ 文章目录先
转载
2023-07-04 14:06:44
106阅读
1.torch.autogradAutograd是python中的自动求导库 PyTorch 作为一个深度学习平台，在深度学习任务中比 NumPy 这个科学计算库强在哪里呢？一是 PyTorch 提供了自动求导机制，二是对 GPU 的支持。由此可见，自动求导 (autograd) 是 PyTorch，乃至其他大部分深度学习框架中的重要组成部分。2.torch.optimtorch.optim模块中
转载
2023-11-30 18:01:24
76阅读
点击pytorch选择你需要的配置，复制run this command后面的内容，在命令行里面运行 step1:打开anaconda prompt step2:激活虚拟环境conda activate py38(虚拟环境的名字)step3:输入run this command后面的内容，回车运行（忘记截图了） 在这个过程中可能出现各种问题，可以尝试切换镜像源，反复尝试 我也安装了整整一天才搞好，
转载
2023-10-09 00:00:06
120阅读
目 录1. 网络概述与效果2. 网络研究背景3. EfficientNet-B0网络结构3.1 MBConv3.2 SE模块3.3 网络参数设置4. 利用Pytorch实现EfficientNet4.1 注意力模块4.2 MBConv模块的具体实现4.3 搭建EfficientNet5 训练结果1. 网络概述与效果该网络的论文是Google在2019年发表的文章，作
转载
2023-10-20 19:07:30
163阅读
Caffe 的通道顺序是NCHW;Tensorflow的通道顺序默认是NHWC（但可以设置成NCHW），NHWC 的访存局部性更好（每三个输入像素即可得到一个输出像素），NCHW 则必须等所有通道输入准备好才能得到最终输出结果，需要占用较大的临时空间。TensorFlow 为什么选择 NHWC 格式作为默认格式？因为早期开发都是基于 CPU，使用 NHWC 比 NCHW 稍快一些（不难理解，NHW
转载
2023-07-27 18:38:27
2792阅读
GMF模型1.从深度学习的视角可以理解为矩阵分解模型，其中矩阵分解层的用户隐向量和物品隐向量可以看做是一种Embedding方法，然后将Embedding后的向量进行点积 最后通过一个线性层输出 2.模型结构如下 所以输入的模型中的数据有num_users（user的数量），num_items（item的数量），embed_dim(Embedding的维度)模型需要输入的数据inputs里面应该为
转载
2023-11-26 10:58:13
92阅读
文本嵌入预训练模型Glove1.词嵌入预训练模型2.Glove3.求近义词和类比词1.文本嵌入预训练模型虽然 Word2Vec 已经能够成功地将离散的单词转换为连续的词向量，并能一定程度上地保存词与词之间的近似关系，但 Word2Vec 模型仍不是完美的，它还可以被进一步地改进：子词嵌入（subword embedding）：FastText 以固定大小的 n-gram 形式将单词更细致地表示为了
转载
2023-12-06 17:05:29
63阅读
