自定义Dataset继承torch.utils.data.Dataset类,创建这个类需要实现三个方法: ** __init __**: 主要用于创建对象，在此方法中一般需要传入图片的路径，通过os模块读取所有图片的路径，同时完成对训练、实验、测试集的划分；#读取所有图片的路径
imgs=[os.path.join(root,img) for img in os.listdir(root)]__
转载
2023-12-07 05:58:43
55阅读
# 使用PyTorch和TensorFlow与Transformers的指南
## 流程概览
在使用PyTorch和TensorFlow的Transformers库时，我们可以按照以下步骤进行：
| 步骤 | 描述 |
|------|------|
| 1 | 安装所需库 |
| 2 | 导入库和准备数据 |
| 3 | 定义模型 |
| 4 | 训练模型 |
|
Win10装tensorflow2.0gpu和pytorch简介一、安装Anaconda二、安装Anaconda-gpu版1.试过很多种错误，推荐这种傻瓜式安装（如果想在虚拟环境种安装请新建一个虚拟环境，我直接在base下安装的）2.升级为tensorflow2.02.安装cudacnn 和cudatoolkit三、 pytorch和torchvision 简介心态炸裂。。。学到torchvisi
转载
2023-10-24 06:39:13
88阅读
# 如何实现"Spark Dataset Transform"
## 整体流程
首先，我们需要创建一个Spark会话，并加载数据集。然后，我们会对数据集进行一系列的转换操作，如筛选、映射、过滤等。最后，我们将转换后的数据写入输出源。
以下是整个流程的步骤：
| 步骤 | 描述 |
| ---- | -------------- |
| 1 | 创建Spark会话
原创
2024-06-17 05:27:58
20阅读
shell 解压文件20191017zip文件(参考资料1)压缩zip -r mydata.zip mydata #压缩mydata目录
zip -r mydata.zip ./*txt #压缩当前目录下后缀名为.txt的文件为mydata.zip解压unzip mydata.zip -d mydatabak #把mydata.zip解压到mydatabak目录里面参数-c：将解压缩的结果
-l：
groupby.first与groupby.tansform(fist)的区别groupby.first 只筛选该分组的第一个groupby.tansform(fist) 返回所有行及对应的分组的第一个
原创
2023-10-14 09:06:40
249阅读
点赞
Pytorch官方教程(三)—Learning Pytorch with ExamplesPytorch 提供了两个主要特性：n 维 Tensor，类似 numpy 不过可以在 GPU 上运行构建和训练神经网络的自动微分使用全连接 ReLU 网络作为运行示例。在网络中有一个隐藏层，并通过梯度下降训练来匹配随机数据，使网络输出与真实输出之间的欧氏距离最小化。TensorsWarm-up ：nump
转载
2024-08-27 19:17:27
5阅读
Tensor与Variable1.Tensor1.1.expand(*sizes)1.2.unfold(dim, size, step) → Tensor1.3.index_add_(dim, index, tensor) → Tensor1.4.view(*args) → Tensor2.Variable2.1.API 兼容性2.2.in-place 正确性检查2.3.class torch.
转载
2023-11-29 00:45:30
84阅读
GMF模型1.从深度学习的视角可以理解为矩阵分解模型，其中矩阵分解层的用户隐向量和物品隐向量可以看做是一种Embedding方法，然后将Embedding后的向量进行点积 最后通过一个线性层输出 2.模型结构如下 所以输入的模型中的数据有num_users（user的数量），num_items（item的数量），embed_dim(Embedding的维度)模型需要输入的数据inputs里面应该为
转载
2023-11-26 10:58:13
92阅读
backward函数官方定义：torch.autograd.backward(tensors, grad_tensors=None, retain_graph=None, create_graph=False, grad_variables=None)Computes the sum of gradients of given tensors w
转载
2024-08-20 17:29:17
55阅读
文章目录0. 前言1. 建议在看这个文当前，先看看下面三个文档1.1. PyTorch Distributed Overview1.2. DistributedDataParallel API documents1.3. DistributedDataParallel notes2. DataParallel 和 DistributdDataParalle 对比3. 基本使用4. 其他4.1.
转载
2023-11-20 11:43:09
57阅读
1、验证conda是否安装成功在安装pytorch之前，需要验证coda安装是否成功 WIN+R键，打开cmd，输入nvcc -V,出现以下界面说明安装成功，并且知道版本为10.2（记住）2、创建虚拟环境在命令窗口输入命令cona create -n torch38 python=3.8, 其中torch38是你创建虚拟环境的名称，可以根据你自己的喜好进行设置，建议不要太复杂。pthon=3.8是
转载
2023-10-23 10:15:12
85阅读
单臂摆是强化学习的一个经典模型，本文采用了4种不同的算法来解决这个问题，使用Pytorch实现。以下是老版本，2022年9月14日新增Dueling DQN, Actor-Critic算法， SAC，更新了PPO，DDPG算法，在文末。DQN：参考：算法思想：https://mofanpy.com/tutorials/machine-learning/torch/DQN/算法实现https://p
转载
2024-05-21 07:12:48
115阅读
代码已同步到Github：https://github.com/EasonCai-Dev/torch_backbones1 论文关键信息论文链接:ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design论文主要提出了ShuffleNet-v2的轻量级网络结构，并针对如今CNN网络常用的深度分离卷积（depth
转载
2023-09-17 10:24:46
166阅读
torch.nn.functional 涉及了所有 torch.nn 需要 类 和 方法 ，torch.nn 构建的模块通常就是调用 torch.nn.functional 里的方法实现的，通过学习 torch.nn.functional 能为后期更好学习构建模型打下基础。 下文涉及 tensor 形状描述： B: batch大小 C：通道数 H：图像数据的高度 W：图像数据的宽度 L：一维数据的
转载
2023-10-16 00:00:24
82阅读
Batch Normalization是google团队在2015年论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出的。通过该方法能够加速网络的收敛并提升准确率。在网上虽然已经有很多相关文章，但基本都是摆上论文中的公式泛泛而谈，bn真正是如何运作的很少
1、正则化与偏差-方差分解Regularization：减小方差的策略；误差可分解为偏差，方差与噪声之和，即误差=偏差+方差+噪声之和；偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界；该模型在测试集的效果比较差，这
转载
2023-11-09 14:21:23
52阅读
DQN（Deep Q Network）DQN可以使计算机玩游戏比人类厉害，Q-learning和Deep-learning的融合当游戏的状态和动作多种多样，多到天文数字的时候，如果用表格来存储的话，显然不切实际，如果用到神经网络就是给出一个状态和动作，通过神经网络，得到这个状态和动作下的value；也可以经过一个状态，通过神经网络，得到不止一个对应的values + op —> value1
转载
2023-12-31 16:36:33
115阅读
文本嵌入预训练模型Glove1.词嵌入预训练模型2.Glove3.求近义词和类比词1.文本嵌入预训练模型虽然 Word2Vec 已经能够成功地将离散的单词转换为连续的词向量，并能一定程度上地保存词与词之间的近似关系，但 Word2Vec 模型仍不是完美的，它还可以被进一步地改进：子词嵌入（subword embedding）：FastText 以固定大小的 n-gram 形式将单词更细致地表示为了
转载
2023-12-06 17:05:29
63阅读
介绍我们本次实现的目标是将本地的图像分类或者目标检测等等深度学习算法部署成web在线预测的形式。效果图如下，在线图像分类网站 大概的设计是有五个可以选择的模型，第二步是可以选择一些照片用来测试分类，同样可以自己本地上传一些照片，最后输出分类的结果和FPS。调试好本地的web之后就部署在服务器上。代码部分环境安装推荐使用conda下载安装环境，安装命令如下,这里推荐使用python3.7-3.9，为
转载
2023-10-30 13:56:00
117阅读
