跪着学蒜法的博客_DeepLearning学习

pytorch 训练模型很慢，卡在数据读取，卡I/O的有效解决方案

pytorch 训练模型很慢，卡数据读取，卡磁盘数据集i/o的解决方案

pytorch

深度学习

python

sed

数据集

原创 2022-10-29 19:23:10 904 阅读

pytorch model.train() 和model.eval() 对 BN 层的影响

代码】pytorch model.tra

pytorch

深度学习

python

方差

归一化

原创 2022-08-21 01:14:00 838 阅读

使用pytorch自定义DataSet，以加载图像数据集为例，实现一些骚操作

使用pytorch自定义DataSet，以加载图像数据集为例，实现一些骚操作总共分为四步构造一个my_dataset类

pytorch

深度学习

机器学习

数据集

类函数

原创 2022-04-27 23:22:06 4098 阅读

pytorch单机多卡的正确打开方式以及可能会遇到的问题和相应的解决方法

pytorch 单机多卡的正确打开方式pytorch 使用单机多卡，大体上有两种方式简单方便的 torch.nn.DataParallel(很 low，但是真的很简单很友好)使用 torch.distributed 加速并行训练

pytorch

深度学习

python

数据

sed

原创 2022-04-27 23:21:32 2717 阅读

python 实现 CRC 冗余码的方法

python 实现 CRC 冗余码的方法我这里考虑输入是 torch.Tensor的一个只包含0 ，1 元素的张量对于输入是numpy或者0，1字符串的方法就更简单了，总之都先要将输入处理成为 0，1字符串，例如“1010” 首先构造一个输入：import randoma = [1 for i in range(16)]b = [0 for i in range(16)]a.e

python

crc

字符串

原创 2021-12-07 17:55:07 1055 阅读

pytorch 使用DataParallel 单机多卡和单卡保存和加载模型时遇到的问题

首先很多网上的博客，讲的都不对，自己跟着他们踩了很多坑1.单卡训练，单卡加载这里我为了把三个模块save到同一个文件里，

pytorch

深度学习

python

加载

并行化

原创 2021-11-13 14:49:53 954 阅读

ViT(Vision Transformer)学习

ViT(Vison Transformer)在 NLP领域大放异彩，并且随着模型和数据集的不断增长，仍然没有表现出饱和的迹象。这使得使用更大规模的数据对Transformer结构进行训练得到表现更优的模型成为了一种解决问题的方案。

深度学习

计算机视觉

人工智能

数据集

向量化

原创 2021-09-15 10:41:45 1686 阅读

（pytorch-深度学习系列）使用重复元素的网络（VGG）

使用重复元素的网络（VGG） VGG的名字来源于论文作者所在的实验室Visual Geometry Group，VGG提出了可以通过重复使用简单的基础块来构建深度模型的思路。 VGG Block(VGG 块) VGG块的组成规律是：连续使用数个相同的填充为1、窗口形状为 3 × 3 3\times 3 3×3的卷积层后接上一个步幅为2、窗口形状为 2 × 2 2\times 2 2×2的最大池化

网络

神经网络

深度学习

python

卷积

原创 2021-09-14 17:08:47 97 阅读 10点赞 2收藏 2评论

（pytorch-深度学习系列）pytorch中backwards()函数对梯度的操作

backwards()函数对梯度的操作对于一个新的tensor来说，梯度是空的；但当对这个tensor进行运算操作后，他就会拥有一个梯度： x = torch.ones(2, 2, requires_grad=True) print(x) print(x.grad_fn) y = x + 2 print(y) print(y.grad_fn) 输出结果： tensor([[1., 1.]

python

深度学习

神经网络

标量

反向传播

原创 2021-09-14 16:57:25 1054 阅读

character-level OCR之Character Region Awareness for Text Detection(CRAFT) 论文阅读

Character Region Awareness for Text Detection 论文阅读论文地址(arXiv) ，pytorch版本代码地址最近在看一些OCR的问题，CRAFT是在场景OCR中效果比较好的模型，记录一下论文的阅读已有的文本检测工作大致如下：基于回归的文本检测(Regression-based text detectors)：TextBoxes、DMPNet .

算法

深度学习

计算机视觉

数据集

ide

原创 2021-09-14 16:41:39 444 阅读

RuntimeError: Integer division of tensors using div or / is no longer supported, and in a future rel

por

python

深度学习

pytorch

ide

原创 2021-09-14 15:20:14 1222 阅读

IndexError: invalid index of a 0-dim tensor. Use `tensor.item()` in Python or `tensor.item＜T＞()` in

使用python pytorch框架出现问题：IndexError: invalid index of a 0-dim tensor. Use tensor.item() in Python or tensor.item<T>() in C++ to convert a 0-dim tensor to a number修改loss.data[0]为loss.item()例：if (i+1) % 100 == 0: print ('Epoch [%d/%d], St

python

深度学习

机器学习

c++

学习

原创 2021-09-13 21:28:56 3006 阅读

RuntimeError: size mismatch, m1: [80 x 4], m2: [320 x 50] at ..\aten\src\TH/generic/THTensorMath.cpp

RuntimeError: size mismatch, m1: [80 x 4], m2: [320 x 50] at …\aten\src\TH/generic/THTensorMath.cpp:41

人工智能

深度学习

机器学习

全连接

数据

原创 2021-09-13 21:28:54 516 阅读

ubuntu给pip换源，给conda换源

ubuntu 给pip换源，给conda换源//修改 ~/.pip/pip.conf (没有就创建一个)，内容如下：[global]timeout = 6000index-url = https://pypi.tuna.tsinghua.edu.cn/simpletrusted-host = pypi.tuna.tsinghua.edu.cn//给conda换源conda config --add channels https://mirrors.ustc.edu.cn/anaconda/p

ubuntu

学习

原创 2021-09-13 21:28:47 684 阅读

动量法解决梯度下降的一些问题

动量法目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向，因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。梯度下降的问题考虑一个目标函数：输入为二维向量x=[x1,x2]⊤\boldsymbol{x} = [x_1, x_2]^\topx=[x1,x2]⊤输出为标量f(x)=0.1x12+2x22f(\bold

python

深度学习

机器学习

2d

迭代

原创 2021-09-13 21:28:44 226 阅读

（pytorch-深度学习）长短期记忆（LSTM）

长短期记忆（LSTM）LSTM 中引入了3个门，即输入门（input gate）遗忘门（forget gate）输出门（output gate）以及与隐藏状态形状相同的记忆细胞（某些文献把记忆细胞当成一种特殊的隐藏状态），从而记录额外的信息。输入门、遗忘门和输出门与门控循环单元中的重置门和更新门一样，如下图所示长短期记忆的门的输入均为当前时间步输入Xt\boldsymbol{X}_tXt与上一时间步隐藏状态Ht−1\boldsymbol{H}_{t-1}Ht−1输出由激活函数为s

python

深度学习

神经网络

循环神经网络

初始化

原创 2021-09-13 21:25:48 317 阅读

pytorch实现梯度下降、随机梯度下降-图像直观展示

深度学习的优化算法的原理与作用

python

算法

机器学习

深度学习

迭代

原创 2021-09-13 21:25:47 715 阅读

（pytorch-深度学习）循环神经网络

循环神经网络上一节介绍的nnn元语法中，时间步ttt的词wtw_twt基于前面所有词的条件概率只考虑了最近时间步的n−1n-1n−1个词。如果要考虑比t−(n−1)t-(n-1)t−(n−1)更早时间步的词对wtw_twt的可能影响，我们需要增大nnn。但这样模型参数的数量将随之呈指数级增长。本节将介绍循环神经网络。它并非刚性地记忆所有固定长度的序列，而是通过隐藏状态来存储之前时间步的信息。首先我们回忆一下前面介绍过的多层感知机，然后描述如何添加隐藏状态来将它变成循环神经网络。...

神经网络

机器学习

深度学习

算法

循环神经网络

原创 2021-09-13 21:25:46 365 阅读

（pytorch-深度学习）SE-ResNet的pytorch实现

SE-ResNet的pytorch实现残差块：class Resiual_block(nn.Module): def __init__(self, in, middle_out, out, kernel_size=3, padding=1): self.out_channel = middle_out super(Resiual_block, self).__init__() self.shortcut = nn.Sequenti

卷积神经网络

卷积

2d

池化

学习

原创 2021-09-13 21:25:43 984 阅读

（pytorch-深度学习）循环神经网络的从零开始实现

循环神经网络的从零开始实现首先，我们读取周杰伦专辑歌词数据集：import timeimport mathimport numpy as npimport torchfrom torch import nn, optimimport torch.nn.functional as Fimport syssys.path.append("..") device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

深度学习

python

算法

神经网络

初始化

原创 2021-09-13 21:25:43 245 阅读

（pytorch-深度学习）使用pytorch框架nn.RNN实现循环神经网络

使用pytorch框架nn.RNN实现循环神经网络首先，读取周杰伦专辑歌词数据集。import timeimport mathimport numpy as npimport torchfrom torch import nn, optimimport torch.nn.functional as Fimport syssys.path.append("..") import d2lzh_pytorch as d2ldevice = torch.device('cuda' if to

神经网络

深度学习

python

循环神经网络

数据集

原创 2021-09-13 21:25:42 361 阅读

（pytorch-深度学习）循环神经网络的从零开始实现

循环神经网络的从零开始实现首先，我们读取周杰伦专辑歌词数据集：import timeimport mathimport numpy as npimport torchfrom torch import nn, optimimport torch.nn.functional as Fimport syssys.path.append("..") device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

深度学习

python

算法

神经网络

初始化

原创 2021-09-13 21:25:42 86 阅读

（pytorch-深度学习）通过时间反向传播

通过时间反向传播介绍循环神经网络中梯度的计算和存储方法，即通过时间反向传播（back-propagation through time）。正向传播和反向传播相互依赖。正向传播在循环神经网络中比较直观，而通过时间反向传播其实是反向传播在循环神经网络中的具体应用。我们需要将循环神经网络按时间步展开，从而得到模型变量和参数之间的依赖关系，并依据链式法则应用反向传播计算并存储梯度。定义模型考虑一个简单的无偏差项的循环神经网络，且激活函数为恒等映射（ϕ(x)=x\phi(x)=xϕ(x)=x）。设时间

python

神经网络

深度学习

算法

反向传播

原创 2021-09-13 21:25:41 218 阅读

（pytorch-深度学习）使用pytorch框架nn.RNN实现循环神经网络

使用pytorch框架nn.RNN实现循环神经网络首先，读取周杰伦专辑歌词数据集。import timeimport mathimport numpy as npimport torchfrom torch import nn, optimimport torch.nn.functional as Fimport syssys.path.append("..") import d2lzh_pytorch as d2ldevice = torch.device('cuda' if to

神经网络

深度学习

python

循环神经网络

数据集

原创 2021-09-13 21:25:41 565 阅读

（pytorch-深度学习）门控循环单元（GRU）

门控循环单元（GRU）循环神经网络中的梯度计算，当时间步数较大或者时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。通常由于这个原因，循环神经网络在实际中较难捕捉时间序列中时间步距离较大的依赖关系。门控循环神经网络（gated recurrent neural network）的提出，正是为了更好地捕捉时间序列中时间步距离较大的依赖关系。它通过可以学习的门来控制信息的流动。其中，门控循环单元（gated recurrent unit，GRU）是

神经网络

深度学习

python

重置

循环神经网络

原创 2021-09-13 21:25:40 846 阅读

（pytorch-深度学习）通过时间反向传播

通过时间反向传播介绍循环神经网络中梯度的计算和存储方法，即通过时间反向传播（back-propagation through time）。正向传播和反向传播相互依赖。正向传播在循环神经网络中比较直观，而通过时间反向传播其实是反向传播在循环神经网络中的具体应用。我们需要将循环神经网络按时间步展开，从而得到模型变量和参数之间的依赖关系，并依据链式法则应用反向传播计算并存储梯度。定义模型考虑一个简单的无偏差项的循环神经网络，且激活函数为恒等映射（ϕ(x)=x\phi(x)=xϕ(x)=x）。设时间

python

神经网络

深度学习

算法

反向传播

原创 2021-09-13 21:25:40 169 阅读

（pytorch-深度学习）门控循环单元（GRU）

门控循环单元（GRU）循环神经网络中的梯度计算，当时间步数较大或者时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。通常由于这个原因，循环神经网络在实际中较难捕捉时间序列中时间步距离较大的依赖关系。门控循环神经网络（gated recurrent neural network）的提出，正是为了更好地捕捉时间序列中时间步距离较大的依赖关系。它通过可以学习的门来控制信息的流动。其中，门控循环单元（gated recurrent unit，GRU）是

神经网络

深度学习

python

重置

循环神经网络

原创 2021-09-13 21:25:39 469 阅读

（pytorch-深度学习）深度循环神经网络

深度循环神经网络循环神经网络只有一个单向的隐藏层，在深度学习应用里，我们通常会用到含有多个隐藏层的循环神经网络，也称作深度循环神经网络。下图演示了一个有LLL个隐藏层的深度循环神经网络，每个隐藏状态不断传递至当前层的下一时间步和当前时间步的下一层。具体来说在时间步ttt里，设小批量输入Xt∈Rn×d\boldsymbol{X}_t \in \mathbb{R}^{n \times d}Xt∈Rn×d（样本数为nnn，输入个数为ddd）第ℓ\ellℓ隐藏层（ℓ=1,…,L\ell=1,\ldo

深度学习

神经网络

python

算法

循环神经网络

原创 2021-09-13 21:25:37 240 阅读

（pytorch-深度学习）双向循环神经网络

双向循环神经网络一般，我们认为循环神经网络模型都是假设当前时间步是由前面的较早时间步的序列决定的，因此它们都将信息通过隐藏状态从前往后传递。有时候，当前时间步也可能由后面时间步决定。例如，当我们写下一个句子时，可能会根据句子后面的词来修改句子前面的用词。双向循环神经网络通过增加从后往前传递信息的隐藏层来更灵活地处理这类信息。给定时间步ttt的小批量输入Xt∈Rn×d\boldsymbol{X}_t \in \mathbb{R}^{n \times d}Xt∈Rn×d（样本数为nnn，输入个数为

深度学习

神经网络

算法

循环神经网络

权重

原创 2021-09-13 21:25:36 296 阅读

pytorch实现梯度下降、随机梯度下降-图像直观展示

深度学习的优化算法的原理与作用

python

算法

机器学习

深度学习

迭代

原创 2021-09-13 21:25:35 545 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx613ecf0a72a10的博客

pytorch 训练模型很慢，卡在数据读取，卡I/O的有效解决方案

pytorch model.train() 和model.eval() 对 BN 层的影响

使用pytorch自定义DataSet，以加载图像数据集为例，实现一些骚操作

pytorch单机多卡的正确打开方式以及可能会遇到的问题和相应的解决方法

python 实现 CRC 冗余码的方法

pytorch 使用DataParallel 单机多卡和单卡保存和加载模型时遇到的问题

ViT(Vision Transformer)学习

（pytorch-深度学习系列）使用重复元素的网络（VGG）

（pytorch-深度学习系列）pytorch中backwards()函数对梯度的操作

character-level OCR之Character Region Awareness for Text Detection(CRAFT) 论文阅读

RuntimeError: Integer division of tensors using div or / is no longer supported, and in a future rel

IndexError: invalid index of a 0-dim tensor. Use `tensor.item()` in Python or `tensor.item＜T＞()` in

RuntimeError: size mismatch, m1: [80 x 4], m2: [320 x 50] at ..\aten\src\TH/generic/THTensorMath.cpp

ubuntu给pip换源，给conda换源

动量法解决梯度下降的一些问题

（pytorch-深度学习）长短期记忆（LSTM）

pytorch实现梯度下降、随机梯度下降-图像直观展示

（pytorch-深度学习）循环神经网络

（pytorch-深度学习）SE-ResNet的pytorch实现

（pytorch-深度学习）循环神经网络的从零开始实现

（pytorch-深度学习）使用pytorch框架nn.RNN实现循环神经网络

（pytorch-深度学习）循环神经网络的从零开始实现

（pytorch-深度学习）通过时间反向传播

（pytorch-深度学习）使用pytorch框架nn.RNN实现循环神经网络

（pytorch-深度学习）门控循环单元（GRU）

（pytorch-深度学习）通过时间反向传播

（pytorch-深度学习）门控循环单元（GRU）

（pytorch-深度学习）深度循环神经网络

（pytorch-深度学习）双向循环神经网络

pytorch实现梯度下降、随机梯度下降-图像直观展示