文章目录GoogLeNetInception块GoogLeNet模型训练模型小结 GoogLeNet在2014年的ImageNet图像识别挑战赛中，一个名叫 GoogLeNet [Szegedy et al., 2015]的网络架构大放异彩。GoogLeNet吸收了NiN中串联网络的思想，并在此基础上做了改进。 这篇论文的一个重点是解决了什么样大小的卷积核最合适的问题。毕竟，以前流行的网络使用小
转载
2024-02-02 18:16:36
50阅读
分布式训练之数据并行1. 背景 在深度学习的发展历程中，通过改变神经网络的结构，可以取得比较明显的精度。但是，随着神经网络结构设计技术不断成熟，想通过优化神经网络结构来打破模型的精度瓶颈遇到了很大的挑战。 根据一些研究表明，通过增大数据规模和模型规模，可以进一步提升模型精度。但是，这也意味着训练时间会变长，所以可以增加计算资源，通过分布式训练来缩短训练时间，将单卡的负载拆到多卡上。 数据并行（Da
转载
2023-12-28 10:21:32
99阅读
1、参考：https://zhuanlan.zhihu.com/p/27642620 2、卷积神经网络的层级结构： • 数据输入层/ Input layer • 卷积计算层/ CONV layer • ReLU激励层 / ReLU layer • 池化层 / Pooling layer • 全连接层 / FC layer2.1 数据输入层该
转载
2023-10-06 22:48:03
0阅读
GoogLeNet网络特点引入了 Inception 结构（融合不同尺度的特征信息）使用 1X1 的卷积核进行降维以及映射处理丢弃全连接层，而使用平均池化层（这大大的减少了模型参数） 大量的文献表明可以将稀疏矩阵聚类为较为密集的子矩阵来提高计算性能，就如人类的大脑是可以看做是神经元的重复堆积，因此，GoogLeNet团队提出了Inception网络结构，就是构造一种“基础神经元”结构，模仿视觉神经
转载
2023-10-20 11:03:37
68阅读
小白一枚最近接触了pytorch框架，细读了pytorch之实战计算机视觉，唐进民一书，这里做个笔记，希望能好好学习一下这个框架。1.手动计算梯度 一个batch（批次）的数据从输入到输出的完整过程是：先输入100个具有1000个特征的数据x，经过隐藏层后变成了100个具有100个特征的数据，再经过输出层输出100个具有10个分类结果值的数据y，在得到结果后计算损失并反向传播，这样就完成了一次训
转载
2023-08-19 17:42:20
157阅读
点赞
混合精度训练方法是通过混合使用单精度和半精度数据格式来加速深度神经网络训练的过程，同时保持了单精度训练所能达到的网络精度。混合精度训练能够加速计算过程，同时减少内存使用和存取，并使得在特定的硬件上可以训练更大的模型或batch size。对于FP16的算子，若给定的数据类型是FP32，MindSpore框架的后端会进行降精度处理。用户可以开启INFO日志，并通过搜索关键字“reduce
转载
2024-01-10 17:06:56
51阅读
一、LeNet-5 简介LeNet-5 是 Yann Lecun 于1998提出的神经网络架构，更是卷积神经网络的开山鼻祖，虽然该网络模型仅有 7 层神经网络结构，但在 MNIST 数据集上的识别精度高达 99.2%，是卷积神经网络首次在数字图像识别领域的成功运用。但是需要说明的有几点：（1）LeNet-5 主要采用 tanh 和 sigmoid 作为非线性激活函数，但是目前 relu
转载
2024-01-10 20:00:24
136阅读
BN层全面解读1. BN层作用概述2. BN层作用方式3. BN作用位置4. BN层起作用的原因5. 测试时的BN层 1. BN层作用概述BN层会使得神经网络对超参数得选择更加稳定，超参数的变化范围可以更大，工作效果也更好。即使是深层网络，BN层的存在也会使得模型训练更加容易。同时BN层具有一定的正则化效果。下面将说明BN层的具体作用方式，并解释BN层起到上述作用效果的原因。2. BN层作用方式
转载
2023-08-17 17:54:11
117阅读
20206-29神经网络结构神经网络结构大致分为一下几种结构：# 拉直层，把输入特征拉直成为一位数组
tf.keras.layers.Flatten()
# 全连接层
tf.keras.layers.Dense(神经元个数,activation="激活函数",kernel_constraint="正则化方式")
# 卷积层
tf.keras.layers.Conv2D(filters="卷积核
转载
2023-11-24 16:50:23
96阅读
LeNet5简述LeNet-5由深度学习三巨头之一的Yan LeCun提出，他也被称为卷积神经网络之父。LeNet-5是一种用于手写体字符识别的非常高效的卷积神经网络，可以算是卷积神经网络的开山之作了。虽然LeNet-5这个网络非常小，但是它是一个非常完整的卷积神经网络，包含了卷积层、pooling层、全连接层。 LeNet-5网络 上图为LeNet-5的网络结构，除去输入层共有7层，每
转载
2024-01-30 01:30:32
69阅读
并不是所有使用神经网络的尝试都能够成功，这有许多原因。一些问题可以通过改进训练数据、初始权重、设计良好的输出方案来解决。1.改进输入对于S激活函数，可以发现， 如果输入变大， 激活函数就会变得非常平坦。由于我们使用梯度学习新的权重， 因此一个平坦的激活函数会出问题。权重的改变取决于激活函数的梯度。 小梯度意味着限制神经网络学习的能力。 这就是所谓的饱和神经网络。 这意味着， 我们应该尽量保持小的输
转载
2023-12-15 09:58:19
77阅读
简单的介绍一下构造的的这个比较简单的神经网络的结构，首先，我们这个输入依然是n个样本然后一张图片是784个像素点。第一层我们希望输出是64个特征图，所以我们设定有64个3*3大小的滤波器（卷积核）要注意我们这里的卷积核的深度为1，依赖于灰度图，所以我们输入图像的深度也为1，所以我们要保证卷积核和输入的深度是一致的。然后来到了第一个卷积层之后的池化层，我们设定池化的大小为2*2也就是经历一个池化层之
转载
2023-12-20 09:42:18
110阅读
一、多层前馈神经网络要解决非线性可分问题，需考虑使用多层功能神经元。输入层和输出层之间的一层神经元，被称为隐层或隐含层（hidden layer）。隐含层和输出层神经元都是拥有激活函数的功能神经元。更一般的，常见的神经网络如下图所示的层级结构：图1 多层前馈神经网络结构示意图每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接。这样的神经网络结构通常称为“多层前馈神经网络”（
转载
2023-08-07 15:38:57
821阅读
XOR 感知器
XOR 感知器就是一个这样的逻辑门：输入相同返回 0 ，输入不同返回 1。与之前的感知器不同，这里并不是线性可分的。要处理这类较为复杂的问题，我们需要把感知器连接起来。我们用 AND、NOT 和 OR 感知器来创建一个 XOR 逻辑。我们先看一下神经网络的样子。 上面的神经网络包含 A，B，C，D 4 个
转载
2023-08-28 19:53:25
57阅读
深度学习在诸多方面，如图像分割、时序预测和自然语言处理，都优于其他机器学习方法。嵌入（embedding），即用连续向量表示离散变量的方法，在其中起到了不可或缺的作用。像机器翻译中的词嵌入和分类变量中的实体嵌入，都是嵌入的成功应用。本文将围绕什么是神经网络嵌入、为什么要使用神经网络嵌入以及神经网络嵌入如何学习这三方面进行详细地讲解。相关概念已在之前的工作——将Wikipedia中所有图书转变为向量
转载
2024-05-04 18:30:01
69阅读
图1 卷积网络中的 layers承接上三篇博客：卷积层(空洞卷积对比普通卷积)、激活函数层、池化层 & 感受野目录（1）Dropout层（2）BN层（BatchNormal）（3）全连接层（1）Dropout层在深度学习中，当参数过多而训练样本又比较少时，模型容易产生过拟合现象。过拟合是很多深度学习乃至机器学习算法的通病，具体表现为在训练集上预测准确率高，而在测试集上准确率大幅下降。201
转载
2023-07-17 15:47:12
266阅读
finetune 就是微调的意思，那为什么要微调呢，为什么不能自己重新训练一个网络呢？因为我们没呢么多样本，没那么高超的技术使神经网络合理且有用，因此我在训练好的模型的基础上只训练其中一个或几个层，而把其他层的参数都冻结起来。一个正确的训练好的神经网络应该是什么样的呢？ 如果将神经网络中的所有过滤器都可视化的话，可以发现，由低到高实际上是不断组合，不断得到更高层次抽象的过程，例如一开始只是一些颜色
转载
2023-08-12 01:52:19
76阅读
神经网路究竟是什么结构：1.神经元——>装有一个数字的容器28*28=784个神经元数字代表对应像素的灰度值0纯黑像素1纯白像素神经元里的数叫做激活值激活值越大亮度越高这些神经元组成了网络的第一层2.网络最后一层10个神经元代表0到9 10个数字 激活值都处在0到1之间这些值表示输入数字的可能性隐藏两层上一层激活值决定下一层激活值神经网络处理信息核心机制是一层的激活值通过怎样的运算，算出下一
转载
2023-08-12 22:00:06
111阅读
1.神经网络本文主要介绍神经网络定义，前向神经网络的推导，神经网络的特点等。2.神经网络的定义人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而
转载
2023-08-31 12:21:29
275阅读
前言本文会以相对通俗易懂的方式让你理解什么是卷积神经网络，不会讲解过多理论的部分和矩阵之间的计算，本文旨在让你迅速理解卷积神经网络的基本原理和工作流程。如果在看的过程中有哪里不懂，可以暂时跨过去，回过头来再看第二次，可能就会理解了。构成卷积神经网络的构成： 输入层，卷积层，池化层和全连接层卷积神经网络一般顺序卷积神经网络的顺序一般为：输入层卷积层池化层又一个卷积层又一个池化层全连接层1全连接层2输
转载
2023-10-28 11:07:52
67阅读
