1. 起源分组卷积(Group Convolution) 起源于2012年的 AlexNet - 《ImageNet Classification with Deep Convolutional Neural Networks》。由于当时硬件资源的限制，因为作者将Feature Maps分给多个GPU进行处理，最后把多个GPU的结果进行融合。如下图：2. 分组卷积 介绍我接下来用图来直观
转载
2024-07-16 19:58:10
82阅读
文章目录简介为什么要用卷积卷积神经网络的由来什么是卷积定义解释卷积运算信号分析离散卷积例子：丢骰子图像处理卷积操作 简介为什么要用卷积卷积操作是机器视觉，乃至整个深度学习的核心。首先看为什么卷积这么厉害。我们所有的图片，如灰度图，每一个像素点都有一个灰度值，构成一个矩阵。设长宽为28像素，则该矩阵大小为28*28。对于彩色图片也一样，他是由rbg三种颜色构成，我们看成三张像素图，也就是三个灰度图
转载
2023-09-10 16:32:02
198阅读
Introduction DenseNet基于特征复用，能够达到很好的性能，但是论文认为其内在连接存在很多冗余，早期的特征不需要复用到较后的层。为此，论文基于可学习分组卷积提出CondenseNet，能够在训练阶段自动稀疏网络结构，选择最优的输入输出连接模式，并在最后将其转换成常规的分组卷积分组卷积结构。CondenseNets\(3\times 3\)卷积变为\(3\times 3\)分组卷积
转载
2024-01-16 17:46:18
66阅读
本文主要针对MoblieNet V2，没有看过V1的也可以看，想看V3也可以先看本文。 先附上论文地址V1 https://arxiv.org/abs/1704.04861
V2 https://arxiv.org/abs/1801.04381深度可分离卷积深度可以分离卷积（Depthwise separable convolution）在V1便被首次提出，之后的V2、V3都运
转载
2024-07-07 10:30:00
19阅读
0、前言1、深度可分离卷积1.1 depthwise卷积1.2 pointwise卷积2、代码实现参考 0、前言深度可分离卷积不用多说，在轻量级网络架构方面是一个绕不开的话题，只要接触深度学习多多少少会接触。深度可分离卷积即Depthwise Separable Convolution，该卷积将一个常规卷积过程划分成两个完成：Depthwise卷积和Pointwise卷积，在保证输出一样时，计算
转载
2023-11-24 23:02:12
934阅读
可分离卷积
再来看一下nn.Conv2d()：torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros')输入为(N,C_in,H,W),输出为(N,C_out,H_out,W_out). di
转载
2024-08-08 10:42:01
183阅读
分组卷积Group convolution是将输入层的不同特征图进行分组，然后采用不同的卷积核再对各个组进行卷积，这样会降低卷积的计算量。因为一般的卷积都是在所有的输入特征图上做卷积，可以说是全通道卷积，这是一种通道密集连接方式（channel dense connection），而group convolution相比则是一种通道稀疏连接方式（channel sparse connection）
转载
2024-05-29 09:37:01
42阅读
1、Batch Normalization使用BN时需要注意的问题：因为训练时会实时统计均值和方差，但是测试时要使用历史统计的值，不用当前的，所以要进行设置。在pytorch中可通过创建模型的model.train()和model.eval()方法控制。(类似的还有 Dropout)batch size尽可能设置大点，设置的越大求的均值和方差越接近整个数据集的真实分布。（但也要考虑你的硬件设备）将
转载
2024-06-07 13:52:02
55阅读
在当今时代，机器在理解和识别图像中的特征和目标方面已经成功实现了99％的精度。我们每天都会看到这种情况-智能手机可以识别相机中的面部；使用Google图片搜索特定照片的能力；从条形码或书籍中扫描文本。借助卷积神经网络（CNN），这一切都是可能的，卷积神经网络是一种特定类型的神经网络，也称为卷积网络。如果您是一名深度学习爱好者，那么您可能已经听说过卷积神经网络，也许您甚至自己开发了一些图像分类器。像
转载
2024-05-17 09:53:04
16阅读
首先先说明第一个答案，也就是PyTorch中卷积层的计算方法，其实这点很多人可能在书上已经看过图了，我只是用代码复现一遍我们把所有变量都明确，首先是输入变量，我们设为2 * 2的全1矩阵，如下： 然后初始化一个二维卷积层，并输出其weight和bias，如下：我们可以看到，weight和bias都有两个值，这是因为我们定义了输出通道为2，所以给我们分配了两个卷积核，然后可以看到权值分别为0.784
转载
2023-11-02 07:09:33
108阅读
1. 二维卷积层本节介绍卷积神经网络中最为常见的二维卷积层。二维卷积层常用来处理图像数据，它具有两个空间维度（高和宽）。1.1 二维互相关运算1.1.1 原理分析在二维互相关运算中， 卷积窗口从左上角开始，每次向右滑动一列，直至到达最右边，然后回到最左边的列并向下滑动一行，继续重复上面的动作，直至到达右下角。 当卷积窗口滑动到某一位置时，窗口中的输入子数组与卷积窗口数组按元素相乘并求和，得到输出数
转载
2023-09-27 13:05:52
92阅读
文章目录前言一、前置知识二、torch.nn.Conv2d三、torch.nn.Conv1d 前言 本系列主要是对pytorch基础知识学习的一个记录，尽量保持博客的更新进度和自己的学习进度。本人也处于学习阶段，博客中涉及到的知识可能存在某些问题，希望大家批评指正。另外，本博客中的有些内容基于吴恩达老师深度学习课程，我会尽量说明一下，但不敢保证全面。一、前置知识 上图就是一个多过滤器（过滤
转载
2023-09-02 11:19:13
161阅读
池化常在卷积神经网络中使用，可以调节数据维数，抑制噪声、降低信息冗余、降低模型计算量、防止过拟合等作用。池化没有可学习的参数，与激活函数较为相似，池化在一维或多维张量上的操作与卷积层也有相似之处。 池化最初作用是降低数据量，使模型更容易训练，称为下采样(down-sampling)或下池化
转载
2023-08-11 16:38:08
80阅读
ResNet由Kaiming He（何凯明）等发明（论文下载：Deep Residual Learning for Image Recognition），获得了2015年ILSVRC挑战赛的冠军，一度将TOP-5错误率降至3.6%。参加2015年挑战赛区的ResNet网络深度达到152层，比起以前的卷积神经网络，深度越来越深，但参数越来越少。ResNet使用了一种叫做残差学习（residual l
转载
2024-09-14 13:18:44
62阅读
先来看看pytorch二维卷积的操作API现在继续讲讲几个卷积是如何操作的。一. 普通卷积torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)普通卷积时group默认为1 dilation=1（这里先暂时不讨论dilati
转载
2023-09-26 18:09:29
218阅读
卷积函数注： 函数语法、参数介绍、shape、变量、Example，均转自 PyTorch 中文手册。 说实话 PyTorch 中文手册 对于参数in_channels和out_channels的讲解还是不够详细。 所以我参考了另一篇博客 【PyTorch学习笔记】17：2D卷积,nn.Conv2d和F.conv2d 来讲解这两个参数的意义。函数语法：一维class torch.nn.Conv1d
转载
2024-02-19 11:17:11
128阅读
PyTorch构建卷积层二维图像卷积一、 二维卷积层的实现1. 手动实现二维卷积层2. Pytorch的卷积层API实现二、 二维卷积层的填充和步幅 二维图像卷积使用全连接层来处理图片时，如果图片的尺寸比较大，那么就会出现参数爆炸的情况，模型复杂度直线提升而难以训练。为了降低模型的复杂度，提出了卷积层的概念。 卷积层是在全连接层的基础上，对于参数的取值加以限制来降低模型的复杂度。基于这样两种假设
转载
2023-08-08 09:08:08
117阅读
目录一、Conv2d 二、Conv2d中的dilation参数一、Conv2d首先我们看一下Pytorch中的Conv2d的对应函数（Tensor通道排列顺序是：[batch, channel, height, width]）：torch.nn.Conv2d(in_channels,
out_channels,
kern
转载
2023-08-10 12:43:03
325阅读
官方的api介绍：https://pytorch.org/docs/stable/nn.html?highlight=nn conv2d#torch.nn.Conv2dPytorch中nn.Conv2d的用法nn.Conv2d是二维卷积方法，相对应的还有一维卷积方法nn.Conv1d,常用于文本数据的处理，而nn.Conv2d一般用于二维图像。先看一下接口定义：class torch.nn.Con
转载
2023-11-15 20:04:23
123阅读
前言上一篇《pyTorch入门（一）——Minist手写数据识别训练全连接网络》搭建了全连接层和训练的文件，做了一个最简单的Minist训练，最终的训练结果达到了97%，这篇就来介绍一下pyTorch网络层比较常用的Api和卷积层#常用网络层函数nn.Linear对信号进行线性组合nn.Conv2d对多个二维信号进行二维卷积nn.MaxPool2d对二维信号进行最大值池化nn.ReLU最常用的激活
转载
2024-01-03 09:39:15
64阅读
