2.1 数据操作为了能够完成各种数据操作，我们需要某种方法来存储和操作数据。 通常，我们需要做两件重要的事：（1）获取数据；（2）将数据读入计算机后对其进行处理。 如果没有某种方法来存储数据，那么获取数据是没有意义的。 首先，我们介绍维数组，也称为张量（tensor）。 使用过Python中NumPy计算包的读者会对本部分很熟悉。 无论使用哪个深度学习框架，它的张量类（在MXNet中为ndarra
转载
2024-08-23 13:57:09
38阅读
1.多维输入之前我们的输入都是只有一个维度，如果有多个维度呢？ 对于每一行叫做一个sample（样本） 对于每一列叫做一个feature（特征） 数据集各种各样的什么都有。 csv可以使用excel打开，只能打开逗号做分割的数据集，空格和tab都是不行的。所以可以用记事本打开看一下子。原来的处理函数发生了相应的变化，从一维的变化成了多维 这个过程拆解来看其实是这样子的：为了保证其标量性做了一次转置
转载
2024-01-03 09:46:42
58阅读
专题介绍及文章命名再次提醒：该系列专题不涉及网络细节讲解，仅限于 工程实现 与 框架学习。想更多了解该专题内容请点击上文专题介绍链接。该专题中，文章命名方式为：Pytorch框架应用系列 之 《项目名称》 《总章节-当前章节》：《当前章节项目名称》目录一. Excel 格式数据集的建立 1.1 数据建立操作 之 Excel数据创建《子任务章节》 1.1.1 第一步：Excel 操作函数：op
转载
2023-12-26 21:43:39
49阅读
前言 本文介绍了classdataset的几个要点，由哪些部分组成，每个部分需要完成哪些事情，如何进行数据增强，如何实现自己设计的数据增强。然后，介绍了分布式训练的数据加载方式，数据读取的整个流程，当面对超大数据集时，内存不足的改进思路。本文延续了以往的写作态度和风格，即便是自己知道的内容，也仍然在写之前看了很多的文章来保证内容的正确性和全面性，因此写得极累，耗费时间较长。若
文章目录简介结构MavenGradle扩展组件知识快速体验创建Excel读取Excel开发指南读取Excel方法对比读取Excel的所有Sheet方式一方式二读取单元格的值提取Excel表所有单元格内容Cell支持的基础数据类型日期格式化单元格对齐设置单元格边框样式设置单元格的属性单元格填充合并单元格自定义字体样式特殊设置sheet放大或缩小冻结窗口切割窗口添加图片调整列宽适应内容读取超链接内容
转载
2023-07-10 21:32:25
398阅读
前言无论是在作分类任务或者是目标检测任务都需要数据集的处理，一种是txt文件保存标签的信息，另一种只有图片如下图的形式，这一步也是学会faster-rcnn的关键点 分为训练和验证的照片 | 每个分类的类别 一种是猫的照片，另一种是狗的照片，这种是自己的数据集，其实官方的数据集也是这样放置的，比如CIFAR10，其中的是有10个文件夹，每个文件夹下是很多张一种数字的照片，正常情况下我们引进官方数
转载
2024-02-05 11:27:29
53阅读
最近搞了搞minist手写数据集的神经网络搭建，一个数据集里面很多个数据，不能一次喂入，所以需要分成一小块一小块喂入搭建好的网络。pytorch中有很方便的dataloader函数来方便我们进行批处理，做了简单的例子，过程很简单，就像把大象装进冰箱里一共需要几步？ 第一步：打开冰箱门。我们要创建torch能够识别的数据集类型（pytorch中也有很多现成的数据集类型，以后再说
转载
2023-12-31 15:20:52
40阅读
torchvision.transforms 是一个包含了常用的图像变化方法的工具包，该工具包主要用于图像预处理、数据增强等工作之中。本文将详细介绍 torchvision.transforms 中常用的数据处理函数。 数据预处理一、预处理的批量操作1.Compose2.葡萄酒数据预处理二、图像预处理1.transforms.CenterCrop2.transforms.ColorJitter
转载
2023-07-27 20:17:49
122阅读
今天学习pytorch图像预处理模块——transforms一、transforms运行机制在下载pytorch时，我们下载两个安装包，一个是torch，一个是torchvision，torchvision是计算机视觉工具包，它有三个主要的模块。torchvision. transforms：常用的图像预处理方法torchvision.datasets：常用数据集的dataset实现，MNIST，
转载
2023-12-09 21:23:23
84阅读
目录1.数据处理工具箱概述2. transforms的所有数据增强的api2.1 针对PIL image的处理2.1.1裁剪2.1.2 翻转和旋转2.1.3 图像变换2.1.4 对 transforms 操作，使数据增强更灵活2.2 针对 torch.*Tensor的处理2.2.1 标准化：transforms.Normalize2.2.2 线性变换：transforms.LinearTrans
转载
2024-02-13 20:26:00
184阅读
PyTorch 在学术界和工业应用研究中都获得了广泛的关注。它是一个深度学习框架，具有很大的弹性和大量的实用程序和功能，可以加快工作速度。PyTorch 的学习曲线不是那么陡峭，但在其中实现高效和干净的代码可能很棘手。在使用它超过 2 年之后，以下是我希望我在开始学习 PyTorch 时知道的最重要的 PyTorch 功能。1. 数据集文件夹人们在学习 PyTorch 时做的第一件事就是实现自己D
转载
2023-12-07 08:44:50
69阅读
文章目录0. 两者的区别1. 创建CNN实例2. dropout的不同3. nn.functional.x的优势reference: 0. 两者的区别Pytorch中，nn与nn.functional有哪些区别？相同之处：两者都继承于nn.Modulenn.x与nn.functional.x的实际功能相同，比如nn.Conv3d和nn.functional.conv3d都是进行3d卷积运行效率几
转载
2023-12-13 22:53:28
35阅读
之前一直和小伙伴探讨batch normalization层的实现机理，作用在这里不谈,这里只探究其具体运算过程，我们假设在网络中间经过某些卷积操作之后的输出的feature map的尺寸为4×3×2×24为batch的大小，3为channel的数目，2×2为feature map的长宽整个BN层的运算过程如下图 上图中，batch size一共是4, 对于每一个batch的
转载
2023-06-12 10:15:49
301阅读
Pytorch预训练模型以及修改pytorch中自带几种常用的深度学习网络预训练模型，torchvision.models包中包含alexnet、densenet、inception、resnet、squeezenet、vgg等常用网络结构，并且提供了预训练模型，可通过调用来读取网络结构和预训练模型（模型参数）。往往为了加快学习进度，训练的初期直接加载pretrain模型中预先训练好的参数。加载m
转载
2023-08-09 16:47:09
127阅读
前不久公司的一个项目里要用到Excel报表功能，因项目组中的兄弟都没搞过这个东西，所以走了不少弯路。现总结一下JAVA操作Excel的解决方案与大家分亨，有不正确的地方请高手指正。
JAVA操作Excel目前流行的技术有：
1： javascrip
转载
2024-01-16 17:32:35
69阅读
JXL操作Excel
jxl是一个韩国人写的java操作excel的工具, 在开源世界中，有两套比较有影响的API可 供使用，一个是POI，一个是jExcelAPI。其中功能相对POI比较弱一点。但jExcelAPI对中文支持非常好，API是纯Java的， 并不 依赖Windows系统，即使运行在Linux下，它同样能够正确的处理Excel文件。 另外需要说
转载
2023-07-17 11:00:29
67阅读
## PyTorch 批处理
在深度学习中，批处理（batch processing）是一种常用的技术，用于训练和推断模型。在本文中，我们将介绍 PyTorch 中的批处理以及如何在代码中应用它。我们将首先探讨什么是批处理，然后给出一些示例代码以帮助你理解如何使用批处理。
### 什么是批处理
在深度学习中，批处理是指同时处理多个数据样本的一种技术。通常情况下，我们将输入数据分成多个小批次，
原创
2023-08-16 17:00:20
204阅读
# PyTorch批处理
## 引言
在深度学习中，数据批处理是一种非常重要的技术，通过对数据进行批量处理，可以提高训练速度和模型的泛化能力。PyTorch是一个广泛使用的深度学习框架，提供了丰富的工具和函数来支持批处理操作。本文将介绍PyTorch中的批处理概念、批处理技术和如何在PyTorch中实现批处理。
## 什么是批处理？
在深度学习中，批处理是指将一组训练样本一起输入到神经网络
原创
2023-09-11 07:16:36
91阅读
Pytorch是机器学习里面常用的框架之一，我们在学习机器学习之前最好需要学习如何使用这个框架对我们将要使用的数据数据进行预处理操作。如果我们想要学习好pytorch里面的方法，我们需要常去用一下dir()和help()函数，它们一个会帮我们查看某个包里面的内容，一个会帮我们返回某项功能的作用。目录数据导入DatasetDataloader数据预处理TotensorNormalizeR
转载
2024-07-11 10:33:49
103阅读
文章目录前言一、config.py二、datalist.py三.common.py四.model.py五.model_common.py六.train.py总结 前言该算法是从github上找的onion peel network算法，但是由于开发者只提供了demo部分，所以我试着自己把train的部分自己实现了，目前来看多少有点能补全的意思。目前来看还不是很成熟，但我还是发出来给大家看看。当然
转载
2024-08-13 08:53:34
73阅读
