PyTorch是一个针对深度学习，并且使用GPU和CPU来优化的tensor library(张量库)。最新发布的稳定版本为1.9，源码在https://github.com/pytorch/pytorch 。它支持在Linux、Mac和Windows上编译和运行。调用Python接口可以通过Anaconda或Pip的方式安装，调用C++接口
转载
2023-08-14 15:21:08
198阅读
今天来讲下之前发的一篇极其简单的搭建网络的博客里的一些细节（前文传送门）之前的那个文章中，用Pytorch搭建优化器的代码如下：# 设置优化器
optimzer = torch.optim.SGD(myNet.parameters(), lr=0.05)
loss_func = nn.MSELoss()一、SGD方法 我们要想训练我们的神经网络，就必须要有一种训练方法。就像你要训练你的肌肉，你的
转载
2023-06-30 18:34:36
86阅读
深度学习模型的训练，就是不断更新权值，权值的更新需要求解梯度，求解梯度十分繁琐，PyTorch提供自动求导系统，我们只要搭建好前向传播的计算图，就能获得所有张量的梯度。torch.autograd.backward()torch.autograd.backward(tensors,
grad_tensors=None,
转载
2023-08-10 14:19:40
85阅读
nn.LayerNorm的参数：参考： 1、pytorch LayerNorm参数详解，计算过程 2、nn.LayerNorm的具体实现方法（通过公式复现）normalized_shape如果传入整数，比如4，则被看做只有一个整数的list，此时LayerNorm会对输入的最后一维进行归一化，这个int值需要和输入的最后一维一样大。假设此时输入的数据维度是[3, 4]，则对3个长度为4的向量求均值
转载
2023-11-25 14:46:41
400阅读
PyTorch 是最受欢迎的开源深度学习库之一。开发人员和研究人员钟爱其在构建和训练模型方面提供的灵活性。然而，这只是它的诸多优点之一。在生产中部署和管理模型通常是机器学习过程中最困难的部分，这项工作包括构建定制的预测 API，对其进行扩展，并加以保护等等。简化模型部署过程的一种方法是使用模型服务器，即专门设计用于在生产中提供机器学习预测的现成的 Web 应用程序。模型服务器可轻松加
转载
2023-11-23 20:19:05
68阅读
最近在学习PyTorch，网上资料有些杂乱，进行了稍许整理，望能有所助益。PyTorch简介Torch是 PyTorch的前身，其底层语言相同，但使用不同的上层包装语言。Torch是一个支持大量机器学习算法的科学计算框架。 PyTorch是基于Torch的python开源机器学习库，由FaceBook人工智能小组开发。 为什么PyTorch？不仅能够实现强大的GPU加速，同时还支持动态神经网络。
转载
2023-08-21 20:52:02
118阅读
第一问：pytorch是什么？答：pytorch是torch的python版本，是由Facebook开源的神经网络框架，专门针对GPU加速的深度神经网络编程。而torch是一个经典的对多维矩阵数据进行操作的张量（tensor）库，在机器学习和其他数学密集型应用有广泛应用。第二问：pytorch常用的包有哪些？答： 1、torch：张量的有关运算。如创建、索引、链接、转置、加减乘除、切片
转载
2023-08-17 23:22:06
55阅读
Hello 各位小伙伴，本章节，我将带领大家学习一下PyTorch的基础知识。对于没有机器学习、深度学习经验的小伙伴们，可以以此为跳板，掌握一点基础概念和知识点，为以后学习打基础，当然，对于有使用经验的，就当温故而知新了。 PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。2017年1月，由Facebook人工智能研究院（FAIR）
转载
2023-09-22 16:23:54
70阅读
Pytorch框架之优化器 Optimizer基本用法优化器主要是在模型训练阶段对模型可学习参数进行更新, 常用优化器有 SGD，RMSprop，Adam等优化器初始化时传入传入模型的可学习参数，以及其他超参数如 lr，momentum等在训练过程中先调用 optimizer.zero_grad() 清空梯度，再调用 loss.backward() 反向传播，最后调用 optimizer.step
转载
2023-12-02 17:06:31
27阅读
用Pytorch搭建一个双向GRU 最近课程需求，要做一个幽默度检测的回归任务，就自己搭建了一个进行幽默性回归任务的双向GRU神经网络模型。搭建GRU神经网络在初始化我的神经网络的时候需要5个参数：input_dim：向量的维度，由于我使用Google预训练好的BERT做的embedding，所以维度应该是768。原本还想做fine-tuning，但目前代码水平有限，就先forzen不fine-
转载
2023-11-18 14:57:28
64阅读
大家知道，深度学习的发展和推进，在某种程度上也是一场框架的争夺战，其中 Google 发布的 TensorFlow 和 Facebook 主力支持的 PyTorch 是最耀眼的两颗明星。我们今天就来看看其中一位明星 PyTorch，看看它为何值得学。 简单介绍PyTorch 强调从研究到生产。来源：https://pytorch.org/根据官网介绍，PyTorch 是一个开源的深度学习平台，
转载
2024-06-25 13:28:29
27阅读
对于loss的定义和选择，是决定一个模型能否收敛甚至是针对特定问题是否能够进行灵活应用的基石，因而对于loss的理解和把握是炼丹师的基本数学修养。从pytorch的loss的使用来看，是对于loss的理解的一个很好的入口。 对于Loss的理解应该是无止境的，有如下的一些比较高阶的理解：L1 loss，L2 loss 和 smoothL1loss对于L1 loss，L2 loss 和 sm
转载
2023-09-05 21:19:54
78阅读
Pytorch Document学习笔记Pytorch Document学习笔记1. 网络层1.1 torch.nn.Conv2d1.2 torch.nn.MaxPool2d / torch.nn.MaxUnpool2d1.3 torch.nn.ReLU1.4 torch.nn.BatchNorm2d2. 优化器2.1 torch.optim.SGD2.2 torch.optim.Adagrad
上次写了关于Pytorch入门基本操作，主要是对数据的操作，这次主要写关于Pytorch在使用时涉及到几个部分的一些入门知识。写博客的目的是方便自己以后复习查找。 学习内容来自于<<深度学习之Pytorch>>这本书，顺便附上上一篇博客链接和书籍链接：Pytorch入门之基本操作 书籍链接：https://pan.baidu.com/s/150jEc6cKFdlTkksaO
转载
2024-02-26 18:31:44
61阅读
DenseNet vs ResNet 与ResNet的主要区别在于，DenseNet里模块B的输出不是像ResNet那样和模块A的输出相加，而是在通道维上连结。这样模块A的输出可以直接传入模块B后面的层。在这个设计里，模块A直接跟模块B后面的所有层连接在了一起。这也是它被称为“稠密连接”的原因。DenseNet的主要构建模块是稠密块（dense block）和过渡层（transition laye
转载
2023-10-24 23:05:33
483阅读
在 上文中，我们介绍了PyTorch autograd系统的三个基石：Variable、Function、Engine。用一句简单的话来概括下，就是Engine使用Function构建的Graph来计算得到Variable上grad。在本文中，Gemfield将以下面的代码片段为例，详细介绍Engine如何构建Graph来进行反向传播计算：gemfield = torch.ones(2, 2, r
转载
2024-06-07 17:09:18
9阅读
Pytorch 简介Pytorch 是一个基于 Torch 的 Python 机器学习包，而 Torch 则是一个基于编程语言 Lua 的开源机器学习包。Pytorch 有两个主要的特点：利用强大的 GPU 加速进行张量计算（如 NumPy）用于构建和训练神经网络的自动微分机制 相较于其它 Python 深度学习库，Pytorch 有何优势？相比其它深度学习库，Pytorch 具有以下两
转载
2023-08-10 11:28:51
410阅读
一、资源（1）预训练模型权重链接: https://pan.baidu.com/s/10BCm_qOlajUU3YyFDdLVBQ 密码: 1upi（2）数据集选择的THUCNews，自行下载并整理出10w条数据，内容是10类新闻文本标题的中文分类问题（10分类），每类新闻标题数据量相等，为1w条。数据集可在我的百度网盘自行下载：链接: https://pan.bai
转载
2023-11-03 20:41:32
106阅读
关于Embedding和RNN-GRU-LSTM的使用详解
1. Embedding的使用pytorch中实现了Embedding，下面是关于Embedding的使用。torch.nn包下的Embedding，作为训练的一层，随模型训练得到适合的词向量。建立词向量层embed = torch.nn.Embedding(n_vocabulary,embed
转载
2023-08-11 20:48:51
256阅读
与优化函数相关的部分在torch.optim模块中，其中包含了大部分现在已有的流行的优化方法。如何使用Optimizer
要想使用optimizer，需要创建一个optimizer 对象，这个对象会保存当前状态，并根据梯度更新参数。怎样构造Optimizer
要构造一个Optimizer，需要使用一个用来包含所有参数（Tensor形式）的iterable，把相关参数（如learning rate、
转载
2023-11-27 06:39:54
155阅读
