1.LeNet卷积神经网络起源LeNet是一种经典的卷积神经网络，由Yann LeCun等人在1998年提出。它是深度学习中第一个成功应用于手写数字识别的卷积神经网络，并且被认为是现代卷积神经网络的基础。LeNet模型包含了多个卷积层和池化层，以及最后的全连接层用于分类。其中，每个卷积层都包含了一个卷积操作和一个非线性激活函数，用于提取输入图像的特征。池化层则用于缩小特征图的尺寸，减少模型参数和计
转载
2023-12-15 09:24:18
239阅读
本文通过假设，理论说明，实践输出，来演示dense神经网络的作用。例子采用keras编程。假设特征向量如：[a,b,c] 特征维度为3, a,b,c为特征值，特征值可取离散的整数。例如输入特征向量为 [1,2,4]， 输出特征为 0 或者 1.我们的目标是，查找哪些逻辑关系可以学习到。如：我们将 a+b=3 的特征向量的输出设置为1，如果神经网络Q可以通过训练，预测输入向量为[2，1，4] 的
转载
2023-09-06 13:15:16
71阅读
前言我们都知道，神经网络的学习目的是找到使损失函数的值尽可能小的参数，这是一个寻找最优参数的问题，解决这个问题的过程可以称为最优化，但由于参数空间非常复杂，无法轻易找到最优解，而且在深度学习中，参数的数量非常大，导致最优化问题更加复杂。在这之前，我们是将参数的梯度（导数）作为线索，使参数沿着梯度方向更新，并重复执行多次，从而逐渐靠近最优参数，这个过程称为随机梯度下降法（SGD）
反向传播中提到了偏
转载
2023-09-15 14:45:02
545阅读
一、 AE(AutoEncoder)参考AutoEncoder1.1 自编码器简单模型介绍自编码器可以理解为一个试图去 还原其原始输入的系统。自动编码模型主要由编码器和解码器组成，其主要目的是将输入x转换成中间变量y，然后再将中间变量y转换成x’，然后对比输入和输出，使得他们两个无限接近。1.2 神经网络自编码器模型在深度学习中，自动编码器是一种 无监督 的 神经网络 模型，它可以学习到输入数据的
转载
2023-11-01 23:51:30
1391阅读
上一篇博客梳理了神经网络的一些重要概念和逻辑，本文将围绕神经网络中的过拟合和正则化展开。1.过拟合较多的隐藏层可以提取输入不同层次的特征，但是不是越多越好，会出现过拟合的问题（训练集的损失函数值很小，但是测试集的损失函数值很大）。 以下是欠拟合、过拟合和理想状态的示意图：因此要找到过拟合和欠拟合中间泛化误差最小的那个阈值2.正则化的要义：正则化参数的同时，最小化训练误差。常见的通用模型公式如下：第
转载
2023-08-14 11:19:24
264阅读
1.神经网络本文主要介绍神经网络定义，前向神经网络的推导，神经网络的特点等。2.神经网络的定义人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而
转载
2023-08-31 12:21:29
275阅读
XOR 感知器
XOR 感知器就是一个这样的逻辑门：输入相同返回 0 ，输入不同返回 1。与之前的感知器不同，这里并不是线性可分的。要处理这类较为复杂的问题，我们需要把感知器连接起来。我们用 AND、NOT 和 OR 感知器来创建一个 XOR 逻辑。我们先看一下神经网络的样子。 上面的神经网络包含 A，B，C，D 4 个
转载
2023-08-28 19:53:25
57阅读
1、研究背景（1）最近的工作表明，如果卷积网络在靠近输入的层和靠近输出的层之间包含较短的连接，则可以进行更深入，更准确和有效的训练。在本文中，我们接受了这一观察，并介绍了密集卷积网络（DenseNet），该网络以前馈方式将每一层连接到其他每一层。具有L层的传统卷积网络具有L(L+1)/2个连接（每层与其后续层之间有一个连接），而我们的网络具有L个直接连接。对于每一层，所有先前层的特征图都用作输入，
转载
2024-01-29 10:06:19
125阅读
DenseNetResNet通过前层与后层的“短路连接”(Shortcuts)，加强了前后层之间的信息流通，在一定程度上缓解了梯度消失的现象，从而可以将神经网络搭建得很深。DenseNet最大化了这种前后层信息交流，通过建立前面所有层与后面层的密集连接，实现了特征在通道维度上的复用，使其可以再参数计算量最少的情况下实现比ResNet更优的性能 DenseNet的网络架构如下图所示，网络由多个Den
转载
2023-10-19 10:51:23
239阅读
DenseNet 是一种具有密集连接的卷积神经网络。在该网络中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入。下图是 DenseNet 的一个示意图。 如果记第 l 层的变换函数为 H_l（通常对应于一组或两组 Batch-Normalization，ReLU 和 Convolution 的操作），输出为 x
转载
2023-12-12 13:24:03
59阅读
导语在深度神经网络中，通常使用一种叫修正线性单元(Rectified linear unit，ReLU）作为神经元的激活函数。ReLU起源于神经科学的研究：2001年，Dayan、Abott从生物学角度模拟出了脑神经元接受信号更精确的激活模型，如下图： 其中横轴是时间(ms)，纵轴是神经元的放电速率(Firing Rate)。同年，Attwell等神经科学家通过研
转载
2024-01-10 17:38:27
49阅读
和全连接神经网络一样，卷积神经网络中的每一个节点都是一个神经元。在全连接神经网络中，每相邻两层之间的节点都有边相连，于是一般会将每一层全连接层中的节点组织成一列，这样方便显示连接结构。 而对于卷积神经网络，相邻两层之间只有部分节点相连，为了展示每一层神经元的维度，一般会将每一层卷积层的节点 组织成一个三维矩阵。除了结构相似，卷积神经网络的输入输出以及训练流程与全连接神经网络也基本一致。 以图像分
转载
2023-11-24 22:59:38
118阅读
卷积神经网络（一）-LeNet卷积神经网络（二）-AlexNet 卷积神经网络（三）-ZF-Net和VGG-Nets卷积神经网络（四）-GoogLeNet卷积神经网络（五）-ResNet卷积神经网络（六）-DenseNet自Resnet提出以后，ResNet的变种网络层出不穷，都各有其特点，网络性能也有一定的提升。本文介绍的最后一个网络是CVPR 2017最佳论文DenseNet，论文中
转载
2023-12-15 11:47:32
186阅读
随着神经网络的发展，现在有大量的神经网络层类型。 在本文中，我将介绍几个神经网络层，解释它们的作用和工作方式，并在Python流行的机器学习库Keras中展示它们的应用。Core LayersDenseDense层是标准的神经网络层，可输出- -其中“activation”是通过“激活参数”传递的激活函数，“kernel”是由图层创建的权重矩阵，而“bias”是由图层创建的偏差矢量。
转载
2024-02-04 21:00:36
289阅读
常用的神经网络模型卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，它包括卷积层（Convolutional layer）和池化层（pooling layer）。循环神经网络（Recurrent Neural Network，RNN）。神经网络是一种节点定向连接成环的人工神经网络，这种网络的内部状态可以展示动态时序行为。LSTM（Long Shor
转载
2023-08-04 11:19:08
1644阅读
Inception层中，有多个卷积层结构（Conv）和Pooling结构（MaxPooling），它们利用padding原理，经过这些结构的最终结果shape不变。一、Inception的基础概念Inception模块在GoogLeNet中首次提出并采用，其基本结构如下图所示，带有1X1卷积核的Inception层，就构成了Inception网络的基本单元，整个inception结构就是由多个这样
转载
2023-06-21 20:26:29
392阅读
目录不确定度估计方法A.Single Deterministic MethodsB.Bayesian Neural NetworksC. Ensemble MethodsD. Test Time AugmentationE. Neural Network Uncertainty Quantification Approaches for Real Life Applications 不确定度估计
转载
2023-07-10 23:09:33
105阅读
深度学习是一种特殊的机器学习，通过学习将世界使用嵌套的概念层次来表示并实现巨大的功能和灵活性，其中每个概念都定义为与简单概念相关联，更为抽象的表示以较为不抽象的方式来计算。卷积神经网络是一种前馈型神经网络，受生物自然视觉认知机制启发而来。卷积神经网络一般用于计算机视觉领域，由于有时候图片像素很多，导致神经网络输入特征值的维数很多。CNN结构图 在结构图中，第一层输入图片，进行卷积操作，得到第二层深
转载
2023-11-12 13:25:25
438阅读
第四章.神经网络 4.3 BP神经网络 BP神经网络(误差反向传播算法)是整个人工神经网络体系中的精华，广泛应用于分类识别，逼近，回归，压缩等领域，在实际应用中，大约80%的神经网络模型都采用BP网络或BP网络的变化形式。网络结构公式激活函数 这三个激活函数（Sigmoid，Tanh，Softsign）都存在一个问题，这几个函数的导数几乎都是小于1的，卷积层最多可以有5，6层，层数太多可能无法正
转载
2023-08-31 07:29:15
733阅读
激活函数（Activation Function）用于在神经网络中引入非线性性质。在神经网络中，我们通常会把多个神经元通过一定的方式连接起来，形成不同层数的神经网络，每个神经元不仅仅要进行加权求和，还要将其结果经过一个非线性变换，从而引入非线性性质，增加神经网络的表达能力。相比于线性变换，非线性变换可以更好地拟合目标函数，表达更为复杂的数据分布。 常见的激活函数有sigmoid、ReLU
转载
2023-05-23 18:34:25
93阅读
