在全连接网络部分，Dropout这一超参得到了较为广泛的应用，同时取得了不错的效果。下面就来简单地谈谈Dropout。什么是Dropout我们知道，典型的神经网络其训练流程是将输入通过网络进行正向传导，然后将误差进行反向传播。Dropout就是针对这一过程之中，随机地删除隐藏层的部分单元，进行上述过程。综合而言，上述过程可以分步骤为：随机删除网络中的一些隐藏神经元，保持输入输出神经元不变；将输入通
转载
2023-08-10 12:01:22
95阅读
卷积神经网络1. padding2. 卷积步长3. 单层卷积网络3. 池化层4. 全连接层5. 经典网络6. 残差网络 Residual Networks（ResNets）7. Inception 网络8. 数据增强 Data Augmentation9. 滑动窗口算法10. 边界框预测 Bounding Box Predictions11. 交并比 IoU12. 非最大抑制 NMS13. An
转载
2023-12-14 20:35:56
67阅读
文章目录使用PyTorch构建神经网络，并使用thop计算参数和FLOPsFLOPs和FLOPS区别使用PyTorch搭建神经网络整体代码1. 导入必要的库2. 定义神经网络模型3. 打印网络结构4. 计算网络FLOPs和参数数量5. 结果如下手动计算params手动计算FLOPs注意 使用PyTorch构建神经网络，并使用thop计算参数和FLOPsFLOPs和FLOPS区别FLOPs（flo
转载
2023-08-10 12:01:07
282阅读
Padding的作用在神经网络中，Padding是一种在输入数据周围添加额外边界值的技术。它主要作用是保存卷积或者池化操作后特征图大小与输入特征图相同，以便更好地进行下一层操作。在卷积神经网络中，Padding可分为两种类型：valid padding和same padding。vail padding：不进行padding，输入特征图尺寸减少，通常用于降维操作，如卷积层中的步幅大于1的卷积操作。
转载
2023-11-01 19:58:33
78阅读
1、PaddingPadding有两种方式，same和valid,其中same比较常见，因为是进行了填充，对图像的每一个像素点都进行了卷积操作，而valid有可能扔到一些边缘信息。两种的计算方式不同：2、DropoutDropout有意思的是每次训练都会随机扔到一些节点不进行训练，已达到防止过拟合的效果。当然在预测的时候是所有的节点都参加进行的预测，但是在预测的时候所有节点的权重要乘以一个系数，也
转载
2024-01-14 20:45:06
68阅读
Batch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。首先，为什么需要有 Batch_Size 这个参数？全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。其二，由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。 Full Batch
转载
2023-12-09 16:46:23
37阅读
作用：大大减少网络训练参数的同时，还可以实现并行训练。 原理：所谓权值共享就是说给定一张输入图片，用一个卷积核来卷积这张图，卷积核里的值叫做权重，这张图的每个位置是被同一个卷积核扫的，即卷积的时候所用的权重是一样的。其实权值共享这个词说全了就是整张图片在使用同一个卷积核内的参数，比如一个3*3
转载
2023-08-13 18:50:41
273阅读
padding的用途：（1）保持边界信息，如果没有加padding的话，输入图片最边缘的像素点信息只会被卷积核操作一次，但是图像中间的像素点会被扫描到很多遍，那么就会在一定程度上降低边界信息的参考程度，但是在加入padding之后，在实际处理过程中就会从新的边界进行操作，就从一定程度上解决了这个问题。 （2）可以利用padding对输入尺寸有差异图片进行补齐，使得输入图片尺寸一致。 （3）卷积神经
转载
2023-07-14 11:28:02
83阅读
实际上，bias相当于多了一个参数。在增加网络少量拟合能力的情况下，bias和其它普通权值相比无论前向还是后向，计算上都要简单，因为只需要一次加法。同时，bias与其它权值的区别在于，其对于输出的影响与输入无关，能够使网络的输出进行整体地调整，算是另一维自由度吧。放在二维上，权值相当于直线的斜率，而bias相当于截距，这二者都是直线参数的一部分，并没有
转载
2023-07-04 21:56:09
62阅读
前言：BN层作为当前应用十分广泛的一中抗过拟合、加速模型收敛的手段，效果可以说是十分好用，但是究其原因或者说理解，很多人也是从不同方面有所解释，这篇就尽量包罗的多一些，加上一些自己的理解。有时间就补一点的样子，慢慢写BN层简述：BN层是神经网络里的一层，如同卷积、池化层等等一样，同样有数据的输入、输出，同时参与正向传播和反向传播。但是不太同于其他层的特点是，BN更像是其他类型层的一种数据的预处理。
转载
2023-07-04 13:57:43
120阅读
卷积层本身是个特征抽取，可以指定超参数F来制定设立多少个特征抽取器。 Poolig层对Filter层的特征进行降维操作，形成最终的特征。 一般在Pooling层后连接全连接层神经网络，形成最后的分类结果。Max Pooling的含义是对某个Filter抽取到若干特征值，只取得其中最大的那个Pooling层作为保留值，其他特征值全部抛弃，值最大代表只保留这些特征中最强的，抛弃其他弱的此类特征。好处
转载
2023-08-30 12:11:19
150阅读
实际上，bias相当于多了一个参数。在增加网络少量拟合能力的情况下，bias和其它普通权值相比无论前向还是后向，计算上都要简单，因为只需要一次加法。同时，bias与其它权值的区别在于，其对于输出的影响与输入无关，能够使网络的输出进行整体地调整，算是另一维自由度吧。放在二维上，权值相当于直线的斜率，而bias相当于截距，这二者都是直线参数的一部分，并没有必要区别对待。因此，通常网络都会使
转载
2024-01-25 13:10:11
305阅读
参数正则化方法 - Dropout Dropout可以比较有效的缓解过拟合的发生，在一定程度上达到正则化的效果。 什么是Dropout 当一个复杂的前馈神经网络被训练在小的数据集时，容易造成过拟合。为了防止过拟合，可以通过阻止特征检测器的共同作用来提高神经网络的性能。 Dropout可以作为训练深度神经网络的一种trick供选择。在每个训练批次中，通过忽略一半的特征检测器（让一半的隐层节点值为0）
转载
2023-12-13 22:48:00
66阅读
一.GAN网络的简述。我感觉GAN网络（生成式对抗网络）可以理解为造假，在造假的过程中不断的更新数据使物品的相似度逐渐增加，从similar变为same。在这个过程中我们需要两部分，生成模型（Generative Model）可以将一个输入噪音生成和真实数据差不多的数据；判别模型（Discriminative Model）能够判断出真实数据（真钱）和类真实数据。GAN网络的目标是使得生成的数据和真
转载
2023-09-02 21:55:42
16阅读
Batch Normalization是深度学习发展以来提出的最重要的成果之一了，目前已经被广泛的应用到了各大网络中，具有加速网络收敛速度，提升训练稳定性的效果，Batch Normalization本质上是解决反向传播过程中的梯度问题。Batch Normalization，简称BN，即批规范化，通过规范化操作将输出信号x规范化到均值为0，方差为1保证网络的稳定性。
转载
2020-07-10 15:45:00
99阅读
总结各种神经网络的用处深度神经网络DNN卷积神经网络CNN生成对抗网络GAN循环神经网络RNN 作为一个深度学习的初学者，琳琅满目的神经网络算法让人“学不胜学”，因此在这里做一个整理，总结一下各种神经网络的用处以及学习连接，以便广大同学一起学习和自己日后参考， 本文更像是一个导航页，仅对各种算法进行简单介绍，具体原理及实现请点击参考链接进行学习。 深度神经网络DNN深度神经网络是深度学习的基础
转载
2024-01-08 21:24:55
6阅读
生成对抗神经网络（Generative Adversarial Nets，GAN）是一种深度学习的框架，它是通过一个相互对抗的过程来完成模型训练的。典型的GAN包含两个部分，一个是生成模型（Generative Model，简称G），另一个是判别模型（Discriminative Model，简称D）。生成模型负责生成与样本分布一致的数据，目标是欺骗判别模型，让判别模型认为生成的数据是真实的；判别
转载
2023-07-17 22:12:44
140阅读
卷积作为神经网络的基本计算步骤，我们需要彻底的了解卷积过程中一些细节。卷积作用我现在所说的都是神经网络中，卷积的基本意义，没有涉及到更低层的意义解释，不过在文末，我链接了一些论坛中阅读量很高的解释文章，有兴趣的可以看看。对于神经网络中，做卷积，是在全连接网络基础之上发展而来的，全连接网络参数太多，优化比较困难，容易过拟合，而卷积过程能够对原始图像进行特征提取，把提取到的特征再喂给全连接网络，其实就
转载
2023-10-18 23:05:58
118阅读
大家貌似都叫Recurrent Neural Networks为循环神经网络。我之前是查维基百科的缘故，所以一直叫它递归网络。递归神经网络（RNN）是两种人工神经网络的总称。一种是时间递归神经网络（recurrent neural network），另一种是结构递归神经网络（recursive neural network）。下面我所提到的递归网络全部都是指Recurrent Neural Net
转载
2024-06-07 20:38:14
81阅读
最近正在学习吴孟达老师的深度学习，这一篇文章用来记录一下神经网络的相关知识点~包括神经网络的理解和神经网络是如何工作的。理解神经网络用以下的图片理解神经网络： 图中第一层是输入层，其中的x1,x2,x3是输入样本的特征，比如音乐数据样本的音乐名、演唱者名等等。第二层是隐藏层，神经网络的关键，隐藏层一般有很多层，即深层神经网络，图中只画了一层的神隐藏层之所以采用深层神经网络是因为神经网络通
转载
2023-08-21 19:19:04
146阅读
