VGG16前言知识什么是卷积？什么是padding?什么是池化pooling？什么是全连接？VGG16VGG结构配置VGG16网络卷积计算权重参数实践前言知识什么是卷积？卷积过程是使用一个卷积核（如图中的Filter），在每层像素矩阵上不断按步长扫描下去，每次扫到的数值会和卷积核中对应位置的数进行相乘，然后相加求和，得到的值将会生成一个新的矩阵。卷积核相当于卷积操作中的一个过滤器，用于提取我们图像
github地址：https://github.com/ShichenLiu/CondenseNet 本文提出了学习组卷积(learned group convolution),大大减少了对冗余特征的利用。首先看提出的模块： 中间是训练阶段的condense块，右边是测试阶段的。训练阶段，作者对于输入到1x1学习组卷积的特征图进行学习稀疏连接。filter分组 由于是1x1卷积，4D的张量变为矩阵
转载
2024-08-16 11:59:33
96阅读
1 介绍在使用CNN搭建目标检测模型时，有一个很重要的步骤就是需要进行权重初始化，那么为什么需要进行权重初始化呢？2 权重初始化的原因关于为什么要进行权重初始化，请阅读知乎文章《神经网络中的权重初始化一览：从基础到Kaiming》，以下简称为《初始化概览》；原因一：防止深度神经网络在正向（前向）传播过程中层激活函数的输出损失梯度出现爆炸或消失如果发生任何一种情况，梯度值太大或太小，就无法有效地向后
转载
2024-04-27 16:24:23
269阅读
对于点云分割来说，最重要解决的问题基本上有两个，一个是点云的无序性问题，另一个是点云的不规则和稀疏问题。对于前者的问题，其实2017年的PointNet提出的对称函数(max pooling)就已经解决了，但是目前有很多取代之的方法。后者，很多网络利用学习邻域局部特征，编码相对位置特征解决，KPConv提出了一种可变形的Kernel，但是它的核点是固定的，针对不同的场景可能还需要进行改变，PACo
转载
2024-06-16 18:24:27
48阅读
机器学习知识点相关总结（一）——基础机器学习知识点相关总结（二）——决策树相关机器学习知识点相关总结（三）——LR相关机器学习知识点相关总结（四）——SVM相关机器学习知识点相关总结（五）——CNN相关机器学习知识点相关总结（六）——RNN,LSTM相关机器学习知识点相关总结（七）——k-means相关1.卷积层个数计算方式，CNN参数量计算，卷积计算复杂度，如果一个CNN网络的输入channel
转载
2024-03-31 06:38:53
79阅读
1. 卷积层（Convolution Layer）：由若干个卷积核f（filter）和偏移值b组成，（这里的卷积核相当于权值矩阵），卷积核与输入图片进行点积和累加可以得到一张feature map。卷积层的特征：（1）网络局部连接：卷积核每一次仅作用于图片的局部（2）卷积核权值共享：一个卷积层可以有多个不同的卷积核，每一个filter在与输入矩阵进行点积操作的过程中，其权值是固定不变的。 
转载
2024-03-06 15:55:16
943阅读
一、卷积核与池化：1.1 卷积核（Convolutional）：将输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义，这个函数称为卷积核(滤波器)。一般可以看作对某个局部的加权求和；它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体，而是先从局部开始认识，这就对应了卷积。卷积核的大小一般有1x1,3x3和5x5的尺寸（一般是奇数x奇数）1.2
转载
2024-03-19 13:43:45
466阅读
通俗理解卷积的概念：卷积的重要的物理意义是：一个函数（如：单位响应）在另一个函数（如：输入信号）上的加权叠加。先解释一下什么是加权：通俗点就举列子把,统计学认为，在统计中计算平均数等指标时，对各个变量值具有权衡轻重作用的数值就称为权数． 还是举个例子吧 求下列数串的平均数3、4、3、3、3、2、4、4、3、3、
一般求法为（3＋4＋3＋3＋3＋2＋4＋4＋3＋3）／10＝3．2
加权求法为（6＊3
转载
2024-03-26 09:26:42
62阅读
卷积核类型简介 一个简短的介绍卷积使用“kernel”从输入图像中提取某些“特征”。kernel是一个矩阵，可在图像上滑动并与输入相乘，从而以某种我们期望的方式增强输出。看下面的GIF。 上面的kernel可用于锐化图像。但是这个kernel有什么特别之处呢？考虑下图所示的两个输入图像。第一个图像，中心值为3 * 5 + 2 * -1 + 2 * -1 + 2 * -1 + 2 * -
转载
2024-04-15 13:37:30
141阅读
对图像（不同的数据窗口数据）和滤波矩阵（一组固定的权重：因为每个神经元的多个权重固定，所以又可以看做一个恒定的滤波器filter）做内积（逐个元素相乘再求和）的操作就是所谓的『卷积』操作，也是卷积神经网络的名字来源。中间的过程部分可以理解为一个滤波器，即带着一组固定权重的神经元，多个滤波器的叠加便成了卷积层。一般而言，深度卷积网络是一层又一层的。层的本质是特征图, 存贮输入数据或其中间表示值。一组
转载
2024-02-22 23:13:08
74阅读
Pytorch中自定义神经网络卷积核权重自定义神经网络卷积核权重 神经网络被深度学习者深深喜爱，究其原因之一是神经网络的便利性，使用者只需要根据自己的需求像搭积木一样搭建神经网络框架即可，搭建过程中我们只需要考虑卷积核的尺寸，输入输出通道数，卷积方式等等。我们使用惯了自带的参数后，当我们要自定义卷积核参数时，突然有种无从下手的感觉，哈哈哈哈哈哈哈哈~~，请允许我开心下，嘿嘿！因为笔者在初入神经网络
转载
2024-05-07 22:08:01
54阅读
制作一个二分类的网络来分类mnist的0和5，并向网络上加卷积核从1个核到9个核。网络的结构是(mnist 0 ,mnist9)81-con(3*3)*n-(49*n)-30-2-(1,0) || (0,1)将mnist的28*28的图片压缩到9*9，用n个3*3的卷积核，节点数分别为n*49，30，2。让0向（1，0）收敛，让5向（0，1）收敛，让n分别等于1-9.与Tensorfl
转载
2024-05-29 09:57:28
0阅读
超大卷积核架构Scaling Up Your Kernels to 31x31
视频讲解code PyTorchcode MegEngineTensorflow堆叠多个小kernal,认为3层3×3 > 1层 7×7？Understanding the Effective Receptive Field in Deep Convolutional Neural Networks 可视化卷积核
转载
2024-03-21 16:49:27
95阅读
一维卷积Convolution卷积也是很常用的一种计算模式。卷积计算方法如下：对输出数据中的每一个元素，它的值是输入数据中相同位置上的元素与该元素周边元素的值的加权和。卷积中有一个被称为卷积核（Kernel）或卷积码（Mask）的数据段，指定了周边元素的权值。为了避免混淆，以后都称为卷积码。计算如下图所示：图中的M向量为卷积码，N向量为输入，P向量为输出。其中P[2] = N[0] * M[0]
转载
2024-03-17 14:48:45
148阅读
权值共享基本上有两种方法：在同一特征图和不同通道特征图都使用共享权值，这样的卷积参数是最少的，例如上一层为30*30*40，当使用3*3*120的卷积核进行卷积时，卷积参数为：3*3*120个.(卷积跟mlp有区别也有联系一个神经元是平面排列，一个是线性排列)第二种只在同一特征图上使用共享权值，根据上面的例子，则卷积参数为：3*3*40*120. 1×1的卷积大概有两个方面的作用吧：1.
转载
2024-04-15 13:36:06
45阅读
一、卷积运算 在数学上，卷积的定义是：两个函数在反转和位移后的乘积的积分，其公式表现为：  
转载
2024-05-11 13:01:41
184阅读
一、（如果1×1卷积核接在普通的卷积层后面，配合激活函数，即可实现network in network的结构）二、应用：GoogleNet中的Inception、ResNet中的残差模块三、作用：1、降维（减少参数）例子1 : GoogleNet中的3a模块输入的feature map是28×28×1921×1卷积通道为643×3卷积通道为1285×5卷积通道为32左图卷积核参数：192 × (1
转载
2024-08-08 11:24:26
78阅读
01 卷积卷积是指在滑动中提取特征的过程，可以形象地理解为用放大镜把每步都放大并且拍下来，再把拍下来的图片拼接成一个新的大图片的过程。2D卷积是一个相当简单的操作： 我们先从一个小小的权重矩阵，也就是 卷积核（kernel） 开始，让它逐步在二维输入数据上“扫描”。卷积核“滑动”的同时，计算权重矩阵和扫描所得的数据矩阵的乘积，然后把结果汇总成一个输出像素。也就是说，【卷积操作后得到的矩阵中的每个元
转载
2024-05-07 19:30:12
213阅读
DyNet2020-arxiv-DyNet Dynamic Convolution for Accelerating Convolutional Neural NetworksInstitute：huaweiAuthor：Yikang Zhang, Qiang WangGitHub：/Citation： 4Introduction和Google 的 CondConv，Microsoft 的 Dyn
转载
2024-03-11 21:33:52
152阅读
1. Compressing and regularizing deep neural networks（1）权重值的大小反映了连接的重要性——删除不够重要的连接（called pruning）。（2）权重值轻微的变动对模型的预测能力影响甚微——权重共享（值接近的权重共享同一个权重值，通过索引表查找） ——带来的好处是：减少过拟合，计算，存储，耗能。增加可解释性（
转载
2024-03-21 14:45:16
104阅读
