文章目录为什么使用卷积卷积常规卷积的应用CNN作用pytorch实现 为什么使用卷积 对于一个3层隐藏层的全连接来识别手写体图片（28*28），内存消耗1.6MB，对于当时来说过于庞大（16K内存） 借助生物学的概念，注重感兴趣的地方，称之为感受野，看到的区域也是图片中的一个小块。提出了卷积神经网络的概念，卷积也就是指局部的相关性。权重减少为原来的1/6。卷积一个共享权值的小滑块再图片上移动，对
转载
2024-03-19 13:53:42
98阅读
目录2D卷积3D卷积1*1卷积空间可分离卷积（separable convolution）深度可分离卷积（depthwise separable convolution）分组卷积（Group convolution）扩张卷积（空洞卷积 Dilated Convolutions）反卷积（转置卷积 Transposed Convolutions）octave convolution
转载
2024-08-01 16:05:50
67阅读
通俗理解卷积的概念：卷积的重要的物理意义是：一个函数（如：单位响应）在另一个函数（如：输入信号）上的加权叠加。先解释一下什么是加权：通俗点就举列子把,统计学认为，在统计中计算平均数等指标时，对各个变量值具有权衡轻重作用的数值就称为权数． 还是举个例子吧 求下列数串的平均数3、4、3、3、3、2、4、4、3、3、
一般求法为（3＋4＋3＋3＋3＋2＋4＋4＋3＋3）／10＝3．2
加权求法为（6＊3
转载
2024-03-26 09:26:42
62阅读
机器学习知识点相关总结（一）——基础机器学习知识点相关总结（二）——决策树相关机器学习知识点相关总结（三）——LR相关机器学习知识点相关总结（四）——SVM相关机器学习知识点相关总结（五）——CNN相关机器学习知识点相关总结（六）——RNN,LSTM相关机器学习知识点相关总结（七）——k-means相关1.卷积层个数计算方式，CNN参数量计算，卷积计算复杂度，如果一个CNN网络的输入channel
转载
2024-03-31 06:38:53
79阅读
卷积神经网络作为深度学习的典型网络，在图像处理和计算机视觉等多个领域都取得了很好的效果。为了简单起见，本文仅探讨二维卷积结构。卷积首先，定义下卷积层的结构参数。△ 卷积核为3、步幅为1和带有边界扩充的二维卷积结构卷积核大小（Kernel Size）：定义了卷积操作的感受野。在二维卷积中，通常设置为3，即卷积核大小为3×3。步幅（Stride）：定义了卷积核遍历图像时的步幅大小。其默认值通
转载
2024-06-02 09:22:11
167阅读
前言简单来讲，卷积是一种函数和函数产生一个新函数的数学运算，该数学运算的自变量是两个函数f, g（连续或离散都可以,，定义域之外的部分记函数值填充为0），输出为一个函数h,满足 ,或者说，就是对每个自变量t, 的h(t)值，都是g与对应f的函数值的加权和。1. 一维离散卷积数学表达2. 二维离散卷积定义3. 图像卷积卷积核套合在图像上，对应位置相乘求和赋值给中心像素，滑动卷积核（从左到右，从上到下
目录从全连接到卷积卷积层代码QA从全连接到卷积卷积是深度学习中最重要的概念之一，今天就学习下卷积的基本知识。36M*100=3.6B。使用MLP来处理图片会遇到权重参数过多的问题。就是100个单元的单隐层，这里的权重都需要 3.6*1e9 * 4 / 1024 / 1024 / 1024 = 13.4GB的内存，这就需要很好的GPU才可以存储的下来，现在还没有涉及运算，这肯定是不对的。对图片中的信
对于点云分割来说，最重要解决的问题基本上有两个，一个是点云的无序性问题，另一个是点云的不规则和稀疏问题。对于前者的问题，其实2017年的PointNet提出的对称函数(max pooling)就已经解决了，但是目前有很多取代之的方法。后者，很多网络利用学习邻域局部特征，编码相对位置特征解决，KPConv提出了一种可变形的Kernel，但是它的核点是固定的，针对不同的场景可能还需要进行改变，PACo
转载
2024-06-16 18:24:27
48阅读
Network in Network 这篇论文中 提出了 1*1卷积层，那么问题来了，为什么可以用1*1卷积层来代替全连接层假设当前输入张量维度为6×6×32，卷积核维度为1×1×32，取输入张量的某一个位置（如图黄色区域）与卷积核进行运算。实际上可以看到，如果把1×1×32卷积核看成是32个权重W，输入张量运算的1×1×32部分为输入x，那么每一个卷积操作相当于一个Wx过程，多个卷积核就是多个神
转载
2024-04-07 14:24:04
62阅读
1 介绍在使用CNN搭建目标检测模型时，有一个很重要的步骤就是需要进行权重初始化，那么为什么需要进行权重初始化呢？2 权重初始化的原因关于为什么要进行权重初始化，请阅读知乎文章《神经网络中的权重初始化一览：从基础到Kaiming》，以下简称为《初始化概览》；原因一：防止深度神经网络在正向（前向）传播过程中层激活函数的输出损失梯度出现爆炸或消失如果发生任何一种情况，梯度值太大或太小，就无法有效地向后
转载
2024-04-27 16:24:23
269阅读
接受域(感知野) 如图所示，中间的正方形都表示接受域，其大小为5*5。权重指卷积核的值，接受域指的是卷积核的大小。步长 接受域的范围从区域1移到区域2的过程，或者从区域3移动到区域4都涉及到一个参数：步长，即每次移动的幅度。在此例中的步长可以表示成3或(3，3)，单个3表示横纵坐标方向都移动3个坐标点，步长坐标(3，2)表示横向移动3个
转载
2024-04-24 22:44:37
109阅读
一维卷积Convolution卷积也是很常用的一种计算模式。卷积计算方法如下：对输出数据中的每一个元素，它的值是输入数据中相同位置上的元素与该元素周边元素的值的加权和。卷积中有一个被称为卷积核（Kernel）或卷积码（Mask）的数据段，指定了周边元素的权值。为了避免混淆，以后都称为卷积码。计算如下图所示：图中的M向量为卷积码，N向量为输入，P向量为输出。其中P[2] = N[0] * M[0]
转载
2024-03-17 14:48:45
143阅读
权值共享基本上有两种方法：在同一特征图和不同通道特征图都使用共享权值，这样的卷积参数是最少的，例如上一层为30*30*40，当使用3*3*120的卷积核进行卷积时，卷积参数为：3*3*120个.(卷积跟mlp有区别也有联系一个神经元是平面排列，一个是线性排列)第二种只在同一特征图上使用共享权值，根据上面的例子，则卷积参数为：3*3*40*120. 1×1的卷积大概有两个方面的作用吧：1.
转载
2024-04-15 13:36:06
45阅读
# 在 PyTorch 中实现卷积权重
在深度学习中，卷积神经网络（CNN）通常用于处理图像数据。卷积层的权重是模型学习的参数，理解如何在PyTorch中实现和操作这些权重是非常重要的。本文将带你逐步了解如何实现和获取卷积层的权重，并通过简单的示例进行演示。
## 整体流程
为了在PyTorch中实现卷积权重，我们可以分为几个步骤，如下表所示：
| 步骤 | 操作
1 前言 2012年我在北京组织过8期machine learning读书会，那时“机器学习”非常火，很多人都对其抱有巨大的热情。当我2013年再次来到北京时，有一个词似乎比“机器学习”更火，那就是“深度学习”。 本博客内写过一些机器学习相关的文章，但上一篇技术文章“LDA主题模型”还是写于2014年11月份，毕竟自2015年开始创业做在线教育后
转载
2024-09-24 19:16:43
35阅读
文章目录一、CNN模型原理1.1 图像1.2 DNN图像分类的问题1.3 卷积原理1.4 池化原理1.5 Flatten1.6 卷积池化总结二、卷积池化计算2.1. 初识卷积2.2. CNN中的卷积层2.2.1 二维卷积2.2.2 三维卷积2.2.3 卷积计算公式2.3 填充（padding）、步幅（stride）和通道（channel）2.3.1 填充2.3.2 步幅2.3.3 多通道2.3.
转载
2024-09-14 13:17:28
78阅读
1. Compressing and regularizing deep neural networks（1）权重值的大小反映了连接的重要性——删除不够重要的连接（called pruning）。（2）权重值轻微的变动对模型的预测能力影响甚微——权重共享（值接近的权重共享同一个权重值，通过索引表查找） ——带来的好处是：减少过拟合，计算，存储，耗能。增加可解释性（
转载
2024-03-21 14:45:16
104阅读
对图像（不同的数据窗口数据）和滤波矩阵（一组固定的权重：因为每个神经元的多个权重固定，所以又可以看做一个恒定的滤波器filter）做内积（逐个元素相乘再求和）的操作就是所谓的『卷积』操作，也是卷积神经网络的名字来源。中间的过程部分可以理解为一个滤波器，即带着一组固定权重的神经元，多个滤波器的叠加便成了卷积层。一般而言，深度卷积网络是一层又一层的。层的本质是特征图, 存贮输入数据或其中间表示值。一组
转载
2024-02-22 23:13:08
74阅读
目录卷积定义公式卷积例子先以离散的方式来看：以连续的方式来看：卷积计算图像处理与卷积核思维导图参考文章卷积定义卷积是一种数学运算，符号为*，是两个变量在某范围内相乘后求和的结果。重点：先相乘后求和。结果是一个数值【标量】。“相乘”的另外一种说法“加权”，即“加以权重”、“乘以一定的权重”。在其他一些资料上看到“加权求和”，与卷积是一样的意思。参考百度百科，链接在这，先贴在下面也可以看看维基百科的定
转载
2024-05-13 22:06:53
77阅读
深度学习的一些概念理解（共享权重，最大池化，激活函数，残差网络）：深度学习中有一个概念，叫共享权重，就是一个层中是共享权重的，这样做的好处有两个： a 能够减少参数的数量，加速训练 b 由于共享权重，使得整幅图对应的这个权重下求的的特征具有平移不变性 个人对于共享权重的理解：其实所谓的共享权重，比如对于一个5X5的卷积，不管图像多大，全部使用这样的5X5的卷积核去做卷积，由于卷积大小的5X5
转载
2024-04-23 11:24:19
111阅读
