此Pytorch系列文章既是记录我的学习（因为我也是新手），也是教程（其中有一些自己的想法）。 这篇文章会直接上一些干货，对于新手来说，这篇文章只会让你更快的上手写程序，但是如果你要了解更细的东西，还需要继续深入的学习。 这篇文章是按照我的上一篇博客：Demo Task 1中的代码进行讲解，可以对照代码中的datasets.py文件来看这篇博客。（代码可能较烂，明白意思就行哈~O(∩_∩)O）数据
转载
2024-06-02 08:10:34
88阅读
在使用 PyTorch 进行深度学习模型训练时，将模型迁移到 GPU 是一个常见且必要的步骤。通过将计算任务转移到 GPU 上，我们可以极大地提升模型训练速度，缩短实验时间。本文将详细探讨如何高效地将 PyTorch 模型放到 GPU 上，涵盖版本对比、迁移指南、兼容性处理、实战案例、排错指南和性能优化等方面。
### 版本对比
在不同版本的 PyTorch 中，模型迁移到 GPU 的方法略有
在微软最新发布的 Windows Insider 预览版本中，WSL2 获得了 GPU 计算支持。这意味着 Linux 二进制文件可以利用 GPU 资源，在 WSL 中进行机器学习、AI 开发或是数据科学等工作。微软在今年五月份的 Build 2020 大会上宣布了 WSL 对GPU 计算的支持，对这项功能的需求在社区中一直拥有很高的呼声。目前，需要在WSL中启用GPU支持需要加入Windows
转载
2024-05-28 08:30:01
46阅读
文章目录1、何为Embedding2、2013年以前科学家怎么做文本特征技术？2.1 OneHot2.2 TF-IDF2.3 小结3、2013年以后科学家怎么做? 用 Embedding3.1主要思想3.2 “word2vec”使embedding空前流行3.3 word2vec介绍（Tomas Mikolov 的三篇代表作 之一）3.4 基于word2vec的思路，如何表示sentence和d
转载
2023-12-13 07:35:17
276阅读
文章目录2.1 预处理的概念与作用2.1.1 预处理的概念2.1.2 预处理的作用2.2 在Ubuntu下预处理的命令2.3 Hello的预处理结果解析2.4 本章小结 2.1 预处理的概念与作用2.1.1 预处理的概念预处理指的是程序在编译之前进行的处理，是计算机在处理一个程序时所进行的第一步处理，可以进行代码文本的替换工作，但是不做语法检查。预处理是为编译做的准备工作，能够对源程序文件中出现
目录 array是什么array运算符基本操作创建array遍历array创建K=V类型array插入删去重改查each( )list( )排序 array是什么array是数据结构中的一种，在Web场景中使用得较多。了解好array的使用方法，能提升代码阅读的效率。array通过辨认角标的方式可以分为两类array：角标为int数字的array角标为string数值array两种的不同的a
文章目录引入方法测试总结 引入在学习pytorch的过程中，用的一直都是教程中别人定义好从网上直接下载的数据集，不需要进行任何的处理，数据和标号都可以直接获取。但是，我想要进行自己的研究大多数情况需要我们自己收集数据并进行一些预处理在制作成数据集，然后通过pytorch读入后用来训练模型。这里记录的是一次对上万张验证码图片组成的数据集（标号是其名称）制作pytorch数据集的尝试。部分数据如下：
转载
2023-09-27 11:05:07
128阅读
一、背景原始数据存在的几个问题：不一致；重复；含噪声；维度高。1.1 数据挖掘中使用的数据的原则尽可能赋予属性名和属性值明确的含义；去除惟一属性；去除重复性；合理选择关联字段。1.2 常见的数据预处理方法数据清洗：数据清洗的目的不只是要消除错误、冗余和数据噪音，还要能将按不同的、不兼容的规则所得的各种数据集一致起来。数据集成：将多个数据源中的数据合并，并存放到一个一致的数据存储（如数据仓库）中。这
转载
2024-10-29 21:13:59
51阅读
1. 显存的占用当在GPU上跑一个模型时，显存的占用主要有两部分：模型的输出（特征图、特征图的梯度）、模型的参数（权重矩阵、偏置值、梯度）1. 模型参数的显存占用：（例如：卷积核的参数、BN层、全连接层的参数等（池化层没有参数）） 2. 如果是在训练阶段，需要反向传播更新参数值，所以每个参数都需要存储梯度。所以模型参数的显存占用，与采用的优化器有关。
转载
2024-10-21 16:41:56
81阅读
Tutorial 8: Loading Maya 2011 Models
第八章：加载Maya2011模型
This tutorial will cover how to import static 3D models from Maya 2011. Note that this tutorial will be focused on Maya but
Pytorch预训练模型以及修改pytorch中自带几种常用的深度学习网络预训练模型，torchvision.models包中包含alexnet、densenet、inception、resnet、squeezenet、vgg等常用网络结构，并且提供了预训练模型，可通过调用来读取网络结构和预训练模型（模型参数）。往往为了加快学习进度，训练的初期直接加载pretrain模型中预先训练好的参数。加载m
转载
2023-08-09 16:47:09
127阅读
预处理是指在系统对源程序进行编译之前，对程序中某些特殊的命令行的处理，预处理程序将根据源代码中的预处理命令修改程序。使用预处理功能可以改善程序的设计环境，提高程序的通用性、可读性、可修改性、可调试性、可移植性和方便性，易于模块化。相关项： ◆预处理器（Preprocessor） 预处理器是一个文本处理程序，它在程序编译的第一个阶段处理源代码的文本。当然预处理器不只是编译
NumPy学习笔记NumPy简介NumPy基础1、创建数组(矩阵)、数据类型2、数组属性查看：类型、尺寸、形状、维度3、小数、reshape(括号维度辨析)4、广播5、轴概念、数组拼接5.1轴5.2拼接6、三元运算符、行列交换7、numpy中的nan和inf7.1 简介7.2 nan性质NumPy常用方法NumPy生成随机数NumPy中的布尔索引NumPy常用统计方法思维导图 &n
转载
2024-05-24 16:41:28
47阅读
本文介绍了一个自助结账系统，该系统的主要原件是一个视觉项目计数，可以在客户结账时识别选择的商品的类别和数量，从而完成自助结账。但是该系统的训练受到域适应问题的挑战，即训练数据是单个的物品，而测试图像则是物品的集合。为了解决这个问题，作者提出了一个data priming方法。首先使用一个pre-augmentation data priming，从训练图片中消除干扰的背景，并通过porn prun
# Pytorch预处理和OpenCV预处理的差别
作为一名刚入行的开发者，你可能会对图像处理有很多的疑问，特别是关于PyTorch和OpenCV的预处理方式。在这篇文章中，我将带你了解整个流程、每一步的具体操作和代码示例，以及它们之间的主要区别。
## 一、流程概述
首先，让我们来看看预处理的基本流程。我们可以将整个图像预处理的步骤总结为以下几个阶段：
| 步骤 | 说明
目录前言读取数据集处理缺失值转换为张量格式总结前言 为了能用深度学习来解决现实世界的问题，我们经常从预处理原始数据开始，而不是从那些准备好的张量格式数据开始。 在Python中常用的数据分析工具中，我们通常使用pandas软件包。 像庞大的Python生态系统中的许多其他扩展包一样，panda
转载
2023-11-11 01:50:33
59阅读
文章目录一、标量二、向量三、矩阵四、四维张量 一、标量在 TensorFlow 中，标量最容易理解，它就是一个简单的数字，维度数为0，shape 为 []。 标量的典型用途之一是误差值的表示、各种测量指标的表示，比如准确度(Accuracy, acc)，精度(Precision)和召回率(Recall)等。以均方差误差函数为例，经过tf.keras.losses.mse(或tf.keras.lo
Geant4学习之CAD模型导入Geant4中CAD模型导入必要性CAD模型导入方法CAD模型导入Geant4过程(一)、CADMesh开源代码(二)、如何修改代码实现CAD模型导入1.CADMesh.hh2.CMakeLists.txt3.DetectorConstruction.cc4.运行编译总结&&CADMesh源码链接 Geant4中CAD模型导入必要性三维实体建模方法
转载
2024-04-07 09:41:50
178阅读
搞深度学习的同学肯定一直都在跟ubuntu服务器打交道，无论创建用户，配置远程桌面，远程调试，配置TF或者PT的GPU环境等等，很多都是重复繁琐的步骤，还有可能各种踩坑，笔者就把的一些配置经验整理一下分享给各位。1 英伟达驱动安装拿到一台新的ubuntu服务器，首先安装一下英伟达驱动，建议去官网下载对应GPU版本的驱动文件。这一步我不赘述，很多关于驱动安装的帖子。 安装好显卡驱动之后通过nvidi
转载
2024-09-10 21:07:03
58阅读
IDE：pycharm Python: Python3.6 OS: win10 tf： 1.5.0图片数据的预处理所谓，预处理就是对训练图片提前进行一些处理，为什么要这么干呢？？ 答案是 为了降低其他无关因素对最后的识别结果的影响，比如说一幅图片在不同亮度或是对比度等指标下呈现的效果可能差别特别大，但是这些对于我们来说，不要影响到最后的识别结果，所以这就是预处理最想解决的东西，其次通过预处理方式也
转载
2024-08-12 19:44:27
88阅读
