目录一、自定义损失函数1. 以函数方式定义2. 以类方式定义3. 其他常见的自定义损失函数（1）BCE-Dice Loss（2）Jaccard/Intersection over Union (IoU) Loss（3）Focal Loss二、动态调整学习率1. 使用官方scheduler2. 自定义scheduler三、模型微调1. 模型微调 — torchvision（1）模型微调流程（2）使
转载
2024-05-14 14:28:12
37阅读
# PyTorch中BN层与卷积层的合并详解
在深度学习模型中，Batch Normalization (BN) 层被广泛用来加速训练并提高模型的稳定性。而在推理阶段（inference），将 BN 层和卷积层合并成一个层，可以减少模型的计算量及加快模型的推理速度。本文将详细介绍在PyTorch中如何实现 BN 层与卷积层的合并。
## 流程概述
以下是合并 BN 层与卷积层的步骤：
|
卷积神经网络是含有卷积层的神经网络。 卷积核：可以学习的权重。PS:这里的卷积运算与数学及信号中的不同，神经网络的卷积运算是数学上的互相关运算。图像的平移不变性使我们可以以相同的方式处理局部图像。局部性意味着计算相应的隐藏表示只需一小部分局部图像像素。在图像处理中，卷积层通常比全连接层需要更少的参数。卷积神经网络（CNN）是一类特殊的神经网络，它可以包含多个卷积层。多个输入和输出通道使模型在每个空
转载
2023-09-29 21:37:08
208阅读
目录基于FGSM/PGD算法的对抗样本的生成中文数据集运行环境实验参数实验代码FGSMPGD如下展示FGSM算法运行结果结果补充代码【参考】 基于FGSM/PGD算法的对抗样本的生成在中文文本分类的场景下，以TextCNN（利用卷积神经网络对文本进行分类的算法）为基准模型，通过FGSM算法生成对抗样本进行训练，基于Pytorch实现。 对抗训练的核心步骤是：用被对抗性样本污染过的训练样本来训练模
docker简介：Docker 是一个开源的应用容器引擎，基于 Go 语言 并遵从 Apache2.0 协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）,更重要的是容器性能开销极低。 一个
转载
2023-11-19 16:10:14
162阅读
11. CNN Flatten Operation Visualized - Tensor Batch Processing For Deep Learning这一节课我们将形象的对一个灰度图像张量进行flatten操作，并将展示如何在一个张量中flatten特定的轴。由于我们的张量是成批的，所以经常需要这种选择性的flatten操作。其实flatten操作是一种特殊的reshape操作，即将所有
转载
2023-08-11 09:08:13
116阅读
记录下学习pytorch的各种概念。日积月累吧1.CrossEntropyLossPyTorch-损失函数的损失函数。是log_softmax 和 nll_loss 方法的结合.https://www.jianshu.com/p/e184663e2f8a2.BatchNorm2d()卷积层之后总会添加BatchNorm2d进行数据的归一化处理，这使得数据在进行Relu之前不会因为数据过大而导致网络
转载
2023-12-11 19:32:59
50阅读
CNN的卷积核是单层的还是多层的？解析：一般而言，深度卷积网络是一层又一层的。层的本质是特征图, 存贮输入数据或其中间表示值。 一组卷积核则是联系前后两层的网络参数表达体, 训练的目标就是每个卷积核的权重参数组。 描述网络模型中某层的厚度，通常用名词通道channel数或者特征图feature map数。 不过人们更习惯把作为数据输入的前层的厚度称之为通道数(比如RG
转载
2024-04-04 09:50:03
25阅读
目录1.在根目录下创建文件：Dockerfile2.创建docker镜像3.容器测试运行4.修改容器中的代码5.创建基础镜像6.基于基础镜像创建新的镜像7.删除镜像8. 保存和加载镜像8.1 保存镜像8.2 加载镜像9. 问题解决9.1 docker permission denied解决9.2 docker内nvidia-smi无法使用 1.在根目录下创建文件：DockerfileFROM p
转载
2024-05-14 20:15:39
78阅读
Embedding
keras.layers.Embedding(input_dim, output_dim, embeddings_initializer='uniform',
embeddings_regularizer=None, activity_regularizer=None,
转载
2023-11-07 12:44:38
154阅读
深度学习模型一般由各种模型层组合而成。torch.nn中内置了非常丰富的各种模型层。它们都属于nn.Module的子类，具备参数管理功能。例如：nn.Linear, nn.Flatten, nn.Dropout, nn.BatchNorm2dnn.Conv2d,nn.AvgPool2d,nn.Conv1d,nn.ConvTranspose2dnn.Embedding,nn.GRU,nn.LSTMn
转载
2023-12-19 20:14:26
72阅读
pytorch中的BN层简介简介pytorch里BN层的具体实现过程momentum的定义冻结BN及其统计数据 简介BN层在训练过程中,会将一个Batch的中的数据转变成正太分布,在推理过程中使用训练过程中的参数对数据进行处理,然而网络并不知道你是在训练还是测试阶段,因此,需要手动的加上,需要在测试和训练阶段使用如下函数。model.train() or model.eval()在Pytorch
转载
2023-06-05 15:03:43
403阅读
在使用PyTorch构建深度学习模型时，很多开发者喜欢将多个层定义放在一个列表中，以实现更为灵活和易于管理的网络结构。然而，初学者在处理此类情况下，可能会遇到一些困难。这篇文章将带你详细了解如何有效地解决“PyTorch层定义放在list中”的问题，并确保设计的网络结构良好且易于维护。
### 环境预检
在开展你的项目之前，首先要确保系统和硬件配置足以支持PyTorch的运行。以下是你需要检测
文 |AI_study原标题：PyTorch Callable Neural Networks - Deep earning In PythonLinear 层是如何实现的在上一篇文章中，我们学习了 Linear 层如何使用矩阵乘法将它们的输入特征转换为输出特征。当输入特征被一个Linear 层接收时，它们以一个 展平成一维张量的形式接收，然后乘以权重矩阵。这个矩阵乘法产生输出特征。让我们看看代码
原创
2022-07-28 01:16:30
855阅读
坚持！
转载
2021-06-24 14:22:10
3399阅读
一、简单理解使用pytorch进行模型预测时的逻辑规律基本如下：输入input，将input转化为张量（tensor）设计模型的层 pytorch中的torch.nn模块包含torch已经准备好的层，方便使用者调用构建神经网络，包括：卷积层、池化层、激活函数层、全连接层等相关使用方法：卷积层：输入和卷积核之间的内积运算，是两个实值函数之间的一种数学运算；池化层：对卷积层得到的特征进行进一
转载
2023-08-26 12:19:23
267阅读
经过上一篇的RoI Pooling层之后，大小不一的RoI被池化到相同的维度上，因此接下来我们可以可以利用全连接网络进行分类与回归预测量的计算。在训练阶段，最后需要计算预测量与真值的损失并反传优化，而在前向测试阶段，可以直接将预测量加到RoI上，并输出预测量。全连接RCNN模块整个模块的流程图如下： 从图中我们可以看出，原本的256个RoI经过池化之后得到了512×7×7的特征，因为后面接的是一个
转载
2023-11-13 11:57:22
46阅读
文章目录基于PyTorch的两层神经网络一、基于numpy的两层神经网络实现：二、基于PyTorch的两层神经网络实现：三、使用nn库实现两层神经网络四、自定义nn Modules实现两层神经网络总结 基于PyTorch的两层神经网络提示：在计算神经网络的层数时，只计算具有计算能力的层，而输入层只是将数据进行输入，无计算过程，所以层数：隐藏层层数+1个输出层。所以在此文中两层即一层隐藏层和一层输
转载
2024-02-19 02:16:02
94阅读
《动手学深度学习Pytorch版》之DenseNet代码理解一、模块介绍1、卷积块conv_block2、稠密块DenseBlock3、过渡块transition_block二、DENSNET模型1、DenseNet首先使用同ResNet⼀样的单卷积层和最大池化层2、 DenseNet使用4个稠密块3、同ResNet⼀样，最后接上全局池化层和全连接层来输出 稠密块由多个 conv_block 组
转载
2023-09-15 15:36:03
404阅读
torch.flatten(input, start_dim, end_dim).举例：一个tensor 3*2* 2 start_dim=1 output 3*4start_dim=0 end_dim=1. 6*2如果没有后面两个参数直接变为一维的
转载
2023-06-06 09:56:06
104阅读
