上一篇文章已经交给大家深度学习中的卷积是如何卷的，我的总结就是对应位置相乘在相加，最后加上bias。如果说怎么卷是小学三年级的知识，那我们今天就来说点小学六年级的知识，今天主要还是对上次那个动图做一下进一步的讲解，要说的几个深度学习中经常听到的英文单词，它们分别是：stride，padding，kernel,feature map,上动图1.stride stride直译过来就是步伐，也
总结卷积层对H、W和通道数的改变【老师QA】【直观理解】一般来说，输入和输出的数据 高宽不变时， 输出通道也会设为和输入通道一致。 但是如果输出的数据 高宽都减半了，那么 输出通道数 会 设为 输入通道数的二倍（即 把空间信息压缩了， 并把提取出的信息在更多的通道上存储起来）19-卷积层【补充】看评论区建议的卷积动画视频数学中的卷积【链接】https://www.bilibili.com/vide
转载
2024-09-14 23:46:18
65阅读
卷积层（1）前面聊了3期全连接层，下面先扔下它，看看卷积神经网络的另外一个重量级组成部分——卷积层。关于卷积层的具体计算方式在这里就不多说了，和全连接层类似，由线性部分和非线性部分组成，一会儿直接看代码就好。关于卷积层的计算方法，现在一般来说大家的实现方式都是用“相关”这个操作来进行的，为什么呢？当然是为了计算方便，减少一次把卷积核转一圈的计算。以下是“卷积层”操作的基本代码，我们后面会做进一步地
学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。本文的内容包括几个部分：什么是激活函数？激活函数的用途（为什么需要激活函数）？有哪些激活函数，都有什么性质和特点？应用中如何选择合适的激活函数？如果你对以上几个问题不是很清楚，下面的内容对你是有价值的。什么是激活函数？首
转载
2024-07-31 13:11:16
52阅读
在评价深度学习模型的大小和计算量时，经常使用的参数有：parameters, FLOPs, MACs, MAdds。除此以外，我们还经常见到MAC, FLOPS, GFLOPS, TFLOPS，其中，后三个参数其实并非用来评价模型的计算量，而是用来评价计算机硬件的计算能力。下面分别介绍一下以上几个参数：parameters:这个参数表示的是模型内部总的参数数量，用来衡量模型的大小，例如一个3*3的
《Tensorflow初级教程》 在Tensorflow中该API的功能是进行的是卷积操作，那是如何运行的呢？卷积操作的目的卷积操作的目的是提取图像的特征。都提取什么特种呢？根据不同的卷积核、不同的计算方式，会得到不同的特征提取图。图（1） 左边是相同的一整图，通过三次卷积操作，得到了三张特征图，分别是锐化、浮雕、轮廓。如何进行卷积操作图（2） 咱们把上图分成几部分，通过几个关键词来了解卷积操作。
一、神经网络中卷积层的堆叠(卷积层) 为什么选择使用3个3x3的卷积层而不是使用1个7x7的卷积层呢？ （1）3个串联的3x3的卷积层，拥有比1个7x7的卷积层更少的参数，参数量是后者的（3x3x3 ) /（7x7） = 55%（2）3个3x3的卷积层比1个7x7的卷积层拥有更多的非线性变换，前者可以使用3次ReLU激活函数，而后者只能使用一次，这样使得CNN对特征的学习能力更强。二、池化层目的：
转载
2024-04-06 21:53:49
87阅读
写在前面的话
本文为我在学习卷积神经网络的时候，对激活函数的一些理解。
总结起来，激活函数的作用就是：加入非线性因素，解决线性模型所不能解决的问题。
本文参考文章：神经网络激活函数的作用是什么？
欢迎扫码关注我的公众号，与我一同学习进步！主要致力于学习
使用深度学习解决计算机视觉相关问题
Python为主的互联网应用服务
基于MIPS指令
转载
2024-04-05 00:04:51
76阅读
最近在学习pytorch，自己搭建网络结构，搭建的时候遇到一个问题，就是convolutional层后接了batch normalization和scale层后，到底要不要设置卷积层的偏置，而且我最近在转换模型（caffe转pyotch）时，在跟了batchnorm的卷积层还设置了偏置（由于有偏置参数，所以就设置了偏置），那么到底是否需要在跟了batchnorm的卷积层后面跟上参数了？首先，看bi
接上篇：卷积神经网络对图片分类-中9 ReLU(Rectified Linear Units) Layers在每个卷积层之后，会马上进入一个激励层，调用一种激励函数来加入非线性因素，决绝线性不可分的问题。这里我们选择的激励函数方式叫做ReLU, 他的方程是这样f(x) = max(0, x)，就是把小于零的值都归为0，好处是可以是网络训练的更快，减少梯度消失的问题出现。具体如何理解，例如：上图A中
卷积参数量计算 总整理这边其实算写给我自己复习用的， 就没有用博客的口吻了 简单为主预备知识FLOPs： s小写，指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。（模型） 在论文中常用GFLOPs（1 GFLOPs = 为了理解下面的计算， 简单复习一下卷积运算的过程， 就是将kernel在原input fmap上或者原图上进行滑动(左向右）， 并且进行element wise mul
转载
2024-09-24 19:20:20
0阅读
文章目录全连接层激活函数MLP（多层感知机）和SVM（支持向量机）激活函数回归 和 分类softmax回归损失函数常见的目标检测模型池化层残差网络batch、epoch、iteration的含义目标检测算法总结：R-CNN，SSD，YOLO超参数一次卷积会让图片变小CPU GPU数据增强mAP 全连接层1x1的卷积层可以当做全连接层用！全连接层，是每一个结点都与上一层的所有结点相连，用来把前边提
转载
2024-05-29 22:35:55
95阅读
卷积层在深度学习中常用于特征提取与类别预测，包括降低特征尺度并升维，将大尺寸低维度的特征转为低尺寸高维度的特征，通过多个卷积层提取特征，并在最后使用卷积层作为预测层即实现了目标检测或图像识别。1. 卷积层包含哪些参数，分别有什么作用卷积层的本质是参数共享的卷积核，参数共享的含义是，在对特征图进行卷积操作时，特征图中的所有像素点进行的卷积计算都使用同一个卷积核的参数（使用卷积核进行滑窗计算）。卷积核
转载
2024-04-23 14:20:09
57阅读
高阶卷积——卷积神经网络总结高阶卷积——卷积的神经网络总结1、卷积核一定越大越好吗？--3x3卷积核2、每层卷积只能用同一尺寸的卷积核吗？--Inception结构3、怎样才能减少卷积层的参数？ --Bottleneck4、越深的网络越难训练吗？Resnet残差网络5、深度不是最重要，Block（通道数）更重要，--Wide Resnet6、 通道信息是否也具有局部性 --ResNext7、通道
图片的卷积和池化操作计算机视觉(分类/检测/分割)的基本操作图片的格式卷积和池化 计算机视觉(分类/检测/分割)的基本操作在计算机视觉的深度学习中，我们最常用的就是CNN网络，翻译过来就是卷积神经网络，所以卷积操作就是最基本的操作。那我们就开始看看这个神奇的卷积操作是怎样的(我开始学习的时候根本就不清楚为什么要卷积，没有一个直观的概念)。图片的格式(1)在构建好深度学习网络后，我们要将数据读取进
1.介绍 在深度学习网络中，我们经常看到卷积层之后，会接一个激活函数，而现在比较常见的激活函数有Sigmoid和Relu，那么卷积层之后，为什么要接一个激活函数呢？ 卷积层操作可以用y = w*x + b（其中w为权重，b为偏置）表示，如果我们在后面没有接激活函数，那么y_out = w2 * (w1 * (w0 * x + b0) + b1)
前言本文展示了在 MNIST 数据集上训练 Convolutional Variational AutoEncoder (VAE) 。 VAE 是自动编码器的概率模型，它会将高维输入数据压缩为维度较小的表示形式，但是实现方式与将输入映射到潜在向量的传统自动编码器不同，VAE 将输入数据映射到概率分布的参数，最经典的方式莫过于高斯分布的均值和方差。这种方法会产生一个连续的、结构化的潜在空间，这对于图
hi~ 又是我，事不宜迟赶紧进行实习第二天的学习总结吧 ~1. 隐藏层网络中的隐藏节点即不被用户看得到的结点，例A与B连接、B能看到A，但与B连接的结点C看不到A，因此A便为C的隐藏结点，而隐藏结点在隐藏层中。因此隐藏结点也能看过是隐藏层含有的神经元个数。 人工神经网络中的隐藏层数决定了及其 学习的深浅。在机器学习模型中，只有一层隐藏层结点（如SVM，Boosting），或没有隐藏层结点（如LR）
转载
2024-03-22 20:25:18
46阅读
全连接神经网络全连接神经网络级联多个变换来实现输入到输出的映射。每一层神经网络就是一个线性变换，将上一层的变换结果经过激活函数处理传递给下一层就形成了多层全连接神经网络。激活函数的目的就是对结果进行非线性操作。 全连接神经网络的描述能力更强。因为调整W1行数等于增加模板个数，分类器有机会学到两个不同方向的马的模板。除了输入层以外有多少层神经网络，就是几层神经网络。常用激活函数
转载
2024-04-09 20:55:28
243阅读
如何在pytorch中使用自定义的激活函数？如果自定义的激活函数是可导的，那么可以直接写一个python function来定义并调用，因为pytorch的autograd会自动对其求导。如果自定义的激活函数不是可导的，比如类似于ReLU的分段可导的函数，需要写一个继承torch.autograd.Function的类，并自行定义forward和backward的过程。在pytorch中提供了定义
转载
2023-07-03 22:22:30
161阅读
