1 介绍在使用CNN搭建目标检测模型时，有一个很重要的步骤就是需要进行权重初始化，那么为什么需要进行权重初始化呢？2 权重初始化的原因关于为什么要进行权重初始化，请阅读知乎文章《神经网络中的权重初始化一览：从基础到Kaiming》，以下简称为《初始化概览》；原因一：防止深度神经网络在正向（前向）传播过程中层激活函数的输出损失梯度出现爆炸或消失如果发生任何一种情况，梯度值太大或太小，就无法有效地向后
对于点云分割来说，最重要解决的问题基本上有两个，一个是点云的无序性问题，另一个是点云的不规则和稀疏问题。对于前者的问题，其实2017年的PointNet提出的对称函数(max pooling)就已经解决了，但是目前有很多取代之的方法。后者，很多网络利用学习邻域局部特征，编码相对位置特征解决，KPConv提出了一种可变形的Kernel，但是它的核点是固定的，针对不同的场景可能还需要进行改变，PACo
机器学习知识点相关总结（一）——基础机器学习知识点相关总结（二）——决策树相关机器学习知识点相关总结（三）——LR相关机器学习知识点相关总结（四）——SVM相关机器学习知识点相关总结（五）——CNN相关机器学习知识点相关总结（六）——RNN,LSTM相关机器学习知识点相关总结（七）——k-means相关1.卷积层个数计算方式，CNN参数量计算，卷积计算复杂度，如果一个CNN网络的输入channel
一、卷积核与池化：1.1 卷积核（Convolutional）：将输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义，这个函数称为卷积核(滤波器)。一般可以看作对某个局部的加权求和；它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体，而是先从局部开始认识，这就对应了卷积。卷积核的大小一般有1x1,3x3和5x5的尺寸（一般是奇数x奇数）1.2
对图像（不同的数据窗口数据）和滤波矩阵（一组固定的权重：因为每个神经元的多个权重固定，所以又可以看做一个恒定的滤波器filter）做内积（逐个元素相乘再求和）的操作就是所谓的『卷积』操作，也是卷积神经网络的名字来源。中间的过程部分可以理解为一个滤波器，即带着一组固定权重的神经元，多个滤波器的叠加便成了卷积层。一般而言，深度卷积网络是一层又一层的。层的本质是特征图, 存贮输入数据或其中间表示值。一组
卷积核类型简介 一个简短的介绍卷积使用“kernel”从输入图像中提取某些“特征”。kernel是一个矩阵，可在图像上滑动并与输入相乘，从而以某种我们期望的方式增强输出。看下面的GIF。 上面的kernel可用于锐化图像。但是这个kernel有什么特别之处呢？考虑下图所示的两个输入图像。第一个图像，中心值为3 * 5 + 2 * -1 + 2 * -1 + 2 * -1 + 2 * -
通俗理解卷积的概念：卷积的重要的物理意义是：一个函数（如：单位响应）在另一个函数（如：输入信号）上的加权叠加。先解释一下什么是加权：通俗点就举列子把,统计学认为，在统计中计算平均数等指标时，对各个变量值具有权衡轻重作用的数值就称为权数． 还是举个例子吧 求下列数串的平均数3、4、3、3、3、2、4、4、3、3、
一般求法为（3＋4＋3＋3＋3＋2＋4＋4＋3＋3）／10＝3．2
加权求法为（6＊3
1. 卷积层（Convolution Layer）：由若干个卷积核f（filter）和偏移值b组成，（这里的卷积核相当于权值矩阵），卷积核与输入图片进行点积和累加可以得到一张feature map。卷积层的特征：（1）网络局部连接：卷积核每一次仅作用于图片的局部（2）卷积核权值共享：一个卷积层可以有多个不同的卷积核，每一个filter在与输入矩阵进行点积操作的过程中，其权值是固定不变的。 
Pytorch中自定义神经网络卷积核权重自定义神经网络卷积核权重 神经网络被深度学习者深深喜爱，究其原因之一是神经网络的便利性，使用者只需要根据自己的需求像搭积木一样搭建神经网络框架即可，搭建过程中我们只需要考虑卷积核的尺寸，输入输出通道数，卷积方式等等。我们使用惯了自带的参数后，当我们要自定义卷积核参数时，突然有种无从下手的感觉，哈哈哈哈哈哈哈哈~~，请允许我开心下，嘿嘿！因为笔者在初入神经网络
DyNet2020-arxiv-DyNet Dynamic Convolution for Accelerating Convolutional Neural NetworksInstitute：huaweiAuthor：Yikang Zhang, Qiang WangGitHub：/Citation： 4Introduction和Google 的 CondConv，Microsoft 的 Dyn
01 卷积卷积是指在滑动中提取特征的过程，可以形象地理解为用放大镜把每步都放大并且拍下来，再把拍下来的图片拼接成一个新的大图片的过程。2D卷积是一个相当简单的操作： 我们先从一个小小的权重矩阵，也就是 卷积核（kernel） 开始，让它逐步在二维输入数据上“扫描”。卷积核“滑动”的同时，计算权重矩阵和扫描所得的数据矩阵的乘积，然后把结果汇总成一个输出像素。也就是说，【卷积操作后得到的矩阵中的每个元
超大卷积核架构Scaling Up Your Kernels to 31x31
视频讲解code PyTorchcode MegEngineTensorflow堆叠多个小kernal,认为3层3×3 > 1层 7×7？Understanding the Effective Receptive Field in Deep Convolutional Neural Networks 可视化卷积核
制作一个二分类的网络来分类mnist的0和5，并向网络上加卷积核从1个核到9个核。网络的结构是(mnist 0 ,mnist9)81-con(3*3)*n-(49*n)-30-2-(1,0) || (0,1)将mnist的28*28的图片压缩到9*9，用n个3*3的卷积核，节点数分别为n*49，30，2。让0向（1，0）收敛，让5向（0，1）收敛，让n分别等于1-9.与Tensorfl
直接卷积计算直接卷积计算一定是很直接的，也是大多数人学习卷积神经网络时所直观了解的卷积计算方式。直接卷积是按照卷积层的计算特性进行计算，卷积核中的权重矩阵在经过补零后的输入特征图中滑动，每次在输入特征图中会划出一个与权重矩阵大小一致的子矩阵与之进行对应元素的相乘并累加(点积运算)。具体来讲，对于只有一个通道的输入特征图矩阵 X(5 x 5)，现在共有两个卷积核，其中卷积核1的权重为 W1，b1偏置
一维卷积Convolution卷积也是很常用的一种计算模式。卷积计算方法如下：对输出数据中的每一个元素，它的值是输入数据中相同位置上的元素与该元素周边元素的值的加权和。卷积中有一个被称为卷积核（Kernel）或卷积码（Mask）的数据段，指定了周边元素的权值。为了避免混淆，以后都称为卷积码。计算如下图所示：图中的M向量为卷积码，N向量为输入，P向量为输出。其中P[2] = N[0] * M[0]
权值共享基本上有两种方法：在同一特征图和不同通道特征图都使用共享权值，这样的卷积参数是最少的，例如上一层为30*30*40，当使用3*3*120的卷积核进行卷积时，卷积参数为：3*3*120个.(卷积跟mlp有区别也有联系一个神经元是平面排列，一个是线性排列)第二种只在同一特征图上使用共享权值，根据上面的例子，则卷积参数为：3*3*40*120. 1×1的卷积大概有两个方面的作用吧：1.
1. Compressing and regularizing deep neural networks（1）权重值的大小反映了连接的重要性——删除不够重要的连接（called pruning）。（2）权重值轻微的变动对模型的预测能力影响甚微——权重共享（值接近的权重共享同一个权重值，通过索引表查找） ——带来的好处是：减少过拟合，计算，存储，耗能。增加可解释性（
PGC一、核心思想二、传统卷积对比三、PGC实现取样函数权重函数分类策略公式对比思考举例 一、核心思想PGC认为卷积可认为是特定的取样函数（sample function）与特定的权重函数（weight function）相乘后求和。 论文中本模型作用于基于人体骨架的动作识别任务。二、传统卷积对比对于传统卷积，将一个的卷积核的卷积操作可以认为是以下函数： 其中是卷积核大小(常见3、5)。是一个取
一、（如果1×1卷积核接在普通的卷积层后面，配合激活函数，即可实现network in network的结构）二、应用：GoogleNet中的Inception、ResNet中的残差模块三、作用：1、降维（减少参数）例子1 : GoogleNet中的3a模块输入的feature map是28×28×1921×1卷积通道为643×3卷积通道为1285×5卷积通道为32左图卷积核参数：192 × (1
卷积神经网络卷积基本知识卷积与全理解层的区别速记：局部连接；权值共享；输入/输出数据结构化详细：局部连接：卷积核尺寸远小于输入特征图的尺寸。权值共享：卷积核的滑动窗机制，使得输出层上不同未知的节点与输入层的连接权值都是一样的（即卷积核参数）。输入/输出数据结构化：局部连接和权值共享，使得剪辑操作能够在输出数据中大致保持输入数据的结构信息。 卷积神经网络的基础模块批归一化为了解决什么问题？
