本文主要讲解神经网络中的正则化（Regularization）和Dropout，都是用了减小过拟合。正则化在机器学习领域中很重要。主要针对模型过拟合问题而提出来的。本文是观看麦子学院的视频整理而来。下面开始介绍。1 正则化 机器学学习中的正则化相关的内容可以参见李航的书：统计学习方法。参阅者可以先了解有关的内容。正则化是用来降低overfitting（过拟合）的，减少过拟合的的其他方法有：增加训练
最近用到了RNN来做预测，在这里给大家讲解下为什么要使用RNN：前馈神经网络前馈神经网络是一种最简单的神经网络，是目前应用最广泛、发展最迅速的人工神经网络之一。
各神经元分层排列，第一层是输入层；然后是隐藏层，其中隐藏层可能会有多层；最后一层为输出层。
层与层之间是全连接的，每层的节点之间是无链接的。
每层的神经元只与前一层的神经元相连，只接受前一层的输出，并传给下一层，各层间没有反馈。
每一层的
目录不确定度估计方法A.Single Deterministic MethodsB.Bayesian Neural NetworksC. Ensemble MethodsD. Test Time AugmentationE. Neural Network Uncertainty Quantification Approaches for Real Life Applications 不确定度估计
转载
2023-07-10 23:09:33
59阅读
文章目录一、神经网络1.概述1.1 结构1.2 神经元模型使用2. 单层神经网络2.1 感知器2.2 数学描述2.3 感知器分类效果2.4 单层神经网络表示2.5 单层神经网络训练算法2.6 单层神经网络中的计算公式表示 文章综合一下几位大佬的文章：杨强AT南京: DL01-6: 单层神经网络 企鹅号 - 轨道车辆: 技术篇：单层神经网络是什么，看完这篇文章你就懂了一、神经网络1.概述神经网络是
转载
2023-05-24 16:15:12
94阅读
在传统神经网络中，模型不会关注上一时刻的处理会有什么信息可以用于下一时刻，每一次都只会关注当前时刻的处理。举个例子来说，我们想对一部影片中每一刻出现的事件进行分类，如果我们知道电影前面的事件信息，那么对当前时刻事件的分类就会非常容易。实际上，传统神经网络没有记忆功能，所以它对每一刻出现的事件进行分类时不会用到影片已经出现的信息，那么有什么方法可以让神经网络能够记住这些信息呢？答案就是Recurr
转载
2023-09-06 18:53:42
119阅读
卷积神经网络示意 假设一个任务，有一张32x32x3的输入图片，目的是做数字检测 卷积有两种分类，即所谓的层的划分。一类卷积是一个卷积层与一个池化层一起作为一层，另一类是把一个卷积层看成是一层，池化层也单独作为一层。当人们在计算神经网络有多少层时，通常只统计具有权重和参数的层。因为池化层没有权重和参数，只有一些超参数，在此处，我们把CONV1和POOL1共同作为一个卷积，并标记为L
训练神经网络如何确定batch大小？ 当我们要训练一个已经写好的神经网络时，我们就要直面诸多的超参数啦。这些超参数一旦选不好，那么很有可能让神经网络跑的还不如感知机。因此在面对神经网络这种容量很大的model前，是很有必要深刻的理解一下各个超参数的意义及其对model的影响的。 贴心的小夕还是先带领大家简单回顾一下神经网络的一次迭代过程： 即，首先选择n个样本组成一个batch，然后将batch
OSPF（Open Shortest Path First）是一种开放式最短路径优先（Open Shortest Path First）的路由协议，常用于中大型IP网络中的内部路由选择。那么，OSPF属于网络体系结构中的哪一层呢？
OSPF是一种网络层的协议，也就是第三层的协议。在国际标准的OSI（开放式系统互联）模型中，网络层是负责IP地址的分配和路由选择的层。而OSPF作为一个内部网关协议（
MPLS位于那一层
MPLS（Multiprotocol Label Switching）是一种网络传输技术，可以在IP网络中有效地传输数据。它是一种基于标签的转发技术，通过为数据包添加标签来实现数据传输。那么MPLS究竟位于OSI模型的哪一层呢？
根据OSI模型，网络通信可以分为七层：物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。MPLS位于OSI模型的传输层和网络层之间，属于网
神经网络剖析训练神经网络主要围绕以下四个方面：层，多个层组合成网络（或模型）。输入数据和对应的目标。损失函数，即用于学习的反馈信号。优化器，决定学习过程如何进行。由上图可以看出来：多个层链接在一起组成了网络，将输入数据映射为预测值。然后损失函数将预测值与目标进行比较，得到损失值，用于衡量网络预测值与预期结果的匹配程度。优化器使用这个损失值来更新网络的权重。层：深度学习的基础组件 神经网络的基本数据
OSPF（Open Shortest Path First）是一种用于在传输控制协议/网际协议（TCP/IP）网络中进行路由的动态链路状态协议。在计算机网络中，路由器是负责分发数据包的设备，而OSPF位于网络层。
网络层是TCP/IP参考模型中的第三层，负责在不同网络之间传递数据包。在OSPF协议中，路由器使用链路状态数据库（Link State Database）来存储本地网络的路由信息，并通
一、BP神经网络的概念
BP神经网络是一种多层的前馈神经网络，其主要的特点是：信号是前向传播的，而误差是反向传播的。具体来说，对于如下的只含一个隐层的神经网络模型：
(三层BP神经网络模型)
BP神经网络的过程主要分为两个阶段，第一阶段是信号的前向传播，从输入层经过隐含层，最后到达输出层；第二阶段是误差的反向传播，从输
转载
2023-08-24 20:32:08
67阅读
在传统的前馈神经网络中，输入层的每一个神经元都与下一层的每一个输入神经元相连，我们称之为FC（fully-connected，全连接）层。但是，在CNNs中，我们直到网络中的最后一层才使用FC层。因此，我们可以将CNN定义为神经网络，该网络在专用的“卷积（convolutional）”层中交换，代替网络中至少一个层的“FC”层。  
1.简介本篇介绍卷积神经网络。今年来深度学习在计算机视觉领域取得突破性成果的基石。目前的工业场景应用也是越来越多，比如自然语言处理、推荐系统和语音识别等领域广泛使用。下面会主要描述卷积神经网络中卷积层和池化层的工作原理，并解释填充、步幅、输入通道和输出通道的含义。 后面也会介绍一点比较有代表性的神经网络网络结构，比如：AlexNet、VGG、NiN、GoogLeNet、ResNet、DenseNe
在神经网络中，信息流动有两个方向，一个是向前传播，一个是向后传播。向前传播是指，输入层数据从前向后，逐步传递到输出层；向后传播是指，损失函数从后向前，将梯度逐步传递到第一层。向前传播用于计算预测值，向后传播为了修正预测值，将误差从最后一层传回第一层，利用链式求导的梯度修正参数，使网络输出的预测值更接近真实值，也就是使误差更小。此处有两个重要概念，衡量输出与真实值差异的损失函数，梯度反向传播的链式求
一、 常用的循环神经网络结构前面的内容里我们介绍了循环神经网络的基本结构，这一小节里我们介绍几种更常用的循环神经网络的结构。1. 多层循环神经网络多层循环神经网络是最容易想到的一种变种结构，它的结构也很简单，就是在基本的循环神经网络的基础上增加了隐藏层的数量。图1 多层循环神经网络结构多层循环神经网络按时间展开后，每一层的参数和基本的循环神经网络结构一样，参数共享，而不同层的参数则一般不会共享（可
卷积神经网络包括输入层、卷积层、池化层、全连接层、输出层。 其中卷积层、池化层为卷积神经网络的重点，在一个卷积网络中，卷积层和池化层可以有多层。卷积层参数：卷积核尺寸 、滑动窗口步长、边缘填充（用来弥补一些边界特征的损失）、卷积核个数 卷积计算如下图所示：卷积所得到的特征图尺寸的计算公式： H1、W1为输入图的长和宽；H2、W2为输出特征图的长和宽；F为卷积核的长和宽；S为滑动窗口的步长；P为边界
深度学习中我们会碰到很多的功能层，那么这些层有什么作用？我们该怎么理解呢，我认为本文可以很生动通俗的解答这个问题通常，卷积神经网络除了输入和输出层之外还有四个基本的神经元层，在三层神经网络中，这基层被称为隐藏层卷积层（Convolution）激活层（Activation）池化层（Pooling）完全连接层（Fully connected）卷积层在最初的卷积层中，成千上万的神经元充当第一组过滤器，搜
转载
2023-09-20 17:00:48
142阅读
1.Batch_Size(批尺寸) 该参数主要用于批梯度下降算法(Batch Gradient Descent)中，批梯度下降算法是每次迭代都遍历批中的所有样本，由批中的样本共同决定最优的方向，Batch_Size 正是批中的样本数量。 若数据集比较小，可以采用全数据集(Full Batch Learning)的形式，由全数据确定的方向能更好地代表样本总体，从而更准确地朝向极值所在的方向；但该
转载
2023-08-23 12:49:15
99阅读
1 什么是Attention?具体实现：在seq2seq的编码器中将每个时刻的隐藏状态ht汇总为hs传入解码器，然后在解码器中添加Attention层，该层负责把编码器中传进来的对应时刻的ht选出来标记为上下文向量c；然后将LSTM 层的输出的h和 c拼接起来传入下一层。 Attention层主要实现的内容：选出对应时刻的隐藏状态 ht 。为了可反向传递梯度，将选择
