1. 参数初始化2. 梯度消失、梯度爆炸3. 常用的激活函数4. 优化方法5.过拟合及防止过拟合6.欠拟合及防止欠拟合7.batch normalization8.dropout9.CNN里的一些概念10.生成对抗网络(GAN网络)11.循环神经网络/递归神经网络(RNN)和长短时记忆网络（LSTM） 1. 参数初始化要将参数进行随机初始化而不是全部置0，否则所有隐层的数值都会与输入相关，这称为
梯度消失问题和梯度爆炸问题，总的来说可以称为梯度不稳定问题。【要背住的知识】：用ReLU代替Sigmoid，用BN层，用残差结构解决梯度消失问题。梯度爆炸问题的话，可以用正则化来限制。sigmoid的导数是【0，0.25】.出现原因两者出现原因都是因为链式法则。当模型的层数过多的时候，计算梯度的时候就会出现非常多的乘积项。用下面这个例子来理解：这是每层只有1个神经元的例子，每个神经元的激活函数都是
转载
2024-08-24 20:44:03
105阅读
首先，问题描述：当很多个使用sigmoid的Layers 加到神经网络中时，损失函数的梯度会接近0，这会导致 network难以训练。因为我们使用梯度乘以学习率来更新权值参数的。那么为什么呢？像sigmoid这样的激活函数，它把输入从一个大的空间压缩到一个只有0到1的范围内的很小的空间，作为下一层的输入。因此在输入层一个大的改变，通过sigmoid，最终到输出只有一个小的改变，也就是说导数变小了。
转载
2024-04-14 16:21:38
85阅读
产生消失的梯度问题的原因注：实际上就是梯度计算过程中，w值和激活函数的导数值相乘大于1或者小于1的问题，如果是大于1，那么经历过很多个隐藏层梯度就会越来越大，即梯度爆炸，如果是小于1当然就是梯度消失啦！！！所以w初始化大，w值和激活函数的导数值相乘可能越来越大，造成梯度爆炸。所以w初始化小，w值和激活函数的导数值相乘可能越来越小，造成梯度消失。sigmoid的导数的最大值就很小，每一层的sigmo
转载
2024-05-11 20:46:00
209阅读
文章目录一、梯度弥散1.1 什么是梯度弥散？1.2 梯度弥散造成的问题1.3 梯度弥散造成的原因1.4 梯度弥散的解决办法二、梯度爆炸1.1 什么是梯度爆炸？1.2 梯度爆炸造成的问题1.3 梯度爆炸造成的原因1.4 梯度爆炸的解决方式 一、梯度弥散1.1 什么是梯度弥散？梯度弥散就是梯度消失，导数为01.2 梯度弥散造成的问题靠近输出层的隐藏层梯度大，参数更新快，所以很快就会收敛; 靠近输入层
转载
2024-04-24 16:27:41
82阅读
概念梯度不稳定在层数比较多的神经网络模型的训练过程中会出现梯度不稳定的问题。损失函数计算的误差通过梯度反向传播的方式，指导深度网络权值的更新优化。因为神经网络的反向传播算法是从输出层到输入层的逐层向前进行链式求导，前面层上的梯度是来自于后面层上梯度的乘积，当存在神经网络层数过多时，就有可能出现了梯度不稳定场景。梯度消失在神经网络反向传播中，当梯度从后往前传时，梯度不断减小，最后变为零，此时，浅层的
转载
2024-09-03 13:20:10
126阅读
一、简介梯度下降法是机器学习中最为基础和常用的算法之一，其核心思想是通过求梯度的方法来找到代价函数的最小值，从而解决相应的拟合或者分类问题。而要想理解梯度下降算法，首先应该了解什么是代价函数。二、代价函数代价函数本质来说就是用来表示拟合函数的理想输出与实际输出之间的差距的一种函数。也就是说差距越大，算法学习的代价也就越大，所以梯度下降法的本质也就是不断地优化代价函数。1、平方差代价函数解决回归问题
具体计算的方法可以看我的博客在训练过程中，随着网络加深，分布逐渐发生变动，导致整体分布逐渐往激活函数的饱和区间移动，从而反向传播时底层出现梯度消失，也就是收敛越来越慢的原因。说白了Normalization就是为了解决上面问题，不让梯度往激活函数的饱和区移动而Normalization则是把分布强行拉回到均值为0方差为1的标准正态分布，使得激活输入值落在非线性函数对输入比较敏感的区域，这样输入的小
在我们搭建神经网络时，通常的做法是每一层后面都需要添加一个激活函数。它的作用是将一个线性的模型转化为非线性模型。因为现实生活中很多场景需要解决的都是非线性问题。而线性模型是有局限性的。比如一层线性神经网络就无法解决异或问题。Sigmodsigmod：1/(1+e^-x)是最经典的激活函数，一层的神经网络加上sigmod其实就是最传统逻辑回归的做法。它能够把任何数映射到[0,1]之间，十分直观。你可
一、损失函数：是一种衡量损失和错误程度的函数二、梯度下降法：是一种迭代的优化算法梯度：是一个向量，表示一个函数在该点处，它的方向与取得最大方向导数的方向一致，而它的模为方向导数的最大值.梯度下降法（Gradient Descent，GD）算法是求解最优化问题最简单、最直接的方法。梯度下降法是一种迭代的优化算法，对于优化问题：minf(w)其基本步骤为：随机选择一个初始点w0重复以下过程： 
转载
2024-03-24 13:23:37
100阅读
参考：http://cs231n.github.io/neural-networks-2/一、激励函数1.sigmoid[0,1]之间的压缩，模拟神经元的激活问题（1）饱和神经元将使得梯度消失比如对于x = -10，梯度会接近0x = 0，此时没有问题x = 10时，梯度也接近0即对于过大或者过小的数，即位于sigmoid平滑区域的数，会使得梯度消失 （2）sigmoid是一个非零中心的
交叉熵（Cross-Entropy）交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。1.什么是信息量？假设X是一个离散型随机变量，其取值集合为X，概率分布函数为p(x)=Pr(X=x),x∈X，我们定义事件X=x0的信息量为： I(x0)=−log(p(x0))，可以理解为，一个事件发生的概率越大，则它所携带的信息量就越小，而当p(x0)=1时，熵将等于
梯度消失与梯度爆炸其实是一种情况，看接下来的文章就知道了。梯度消失经常出现，一是在深层网络中，二是采用了不合适的损失函数，比如sigmoid梯度爆炸一般出现在深层网络和权值初始化值太大的情况下下面分别从这两个角度分析梯度消失和爆炸的原因。1.深层网络角度对激活函数进行求导，如果此部分大于1，那么层数增多的时候，最终的求出的梯度更新将以指数形式增加，即发生梯度爆炸，如果此部分小于1，那么随着层数增多
产生原因从深度网络角度理解梯度消失和爆炸产生的原因 以上图的三层神经网络为例，可以将其视为一个非线性多层复合函数如果后层计算出的梯度大于1，经过层层传递，则梯度传到了前部则梯度会呈现指数增长，即梯度爆炸，相反如果后层计算出的梯度小于1，则梯度传到了前部则梯度会呈现指数衰减，即梯度消失。从激活函数角度理解梯度消失和爆炸产生的原因Sigmoid函数的一阶导数是恒小于等于0.25的且在大部分取值范围内接
转载
2024-09-25 23:08:21
467阅读
一、产生原因假设我们使用的激活函数为sigmoid函数。其导数为g(x)*(1-g(x))，图像如下：也就是sigmoid函数导数最大值为0.25。当我们根据链式法则进行反向求导的时候，公式最终是权重和sigmoid导数的连乘形式，如下：如果使用一个均值0标准差为1的高斯分布来初始化权值，所有的权重通常会满足 |w|<1，而激活函数f的导数也是0-1之间的数，其连乘后，结果会变的很小，导致梯
转载
2024-06-14 14:26:45
121阅读
在深度学习领域梯度是个很重要的概念，梯度弥散和梯度爆炸现象（不同激活函数梯度弥散和梯度爆炸的现象不同）：梯度弥散：（以sigmoid为例）我们可以知道当网络层数越深的时候，它的学习速率就越大。通常每增加一层，该层的学习速率就要比相邻的的上一层增加数倍左右。到第四层的学习速率往往是第一层的100倍左右。然而在sigmoid函数中，所有的输入值都会被压缩到[0,1]之间，并且随着网络层次越深，参数经过
转载
2024-06-04 23:35:14
0阅读
1 Logistic Regression¶
1.1 The data我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。对于每一个培训例子，你有两个考试的申请人的分数和录取决定。为了做到这一点，我们将建立一个分类
目录1 基本概念2 原因分析2.1 直接原因2.2 根本原因3 表现4 解决方案 1 基本概念（1）梯度不稳定 在深度神经网络中的梯度是不稳定的，在靠近输入层的隐藏层中或会消失，或会爆炸。这种不稳定性才是深度神经网络中基于梯度学习的根本问题。 产生梯度不稳定的根本原因是前面层上的梯度是来自后面层上梯度的乘积。当存在过多的层时，就会出现梯度不稳定场景，比如梯度消失和梯度爆炸。所以梯度消失和梯度爆炸
梯度消失/爆炸产生的原因在进行反向传播的过程中，梯度会反向传播，当梯度很大，并且weight值大于1的时候，网络会产生梯度爆炸，反之weight值很小，网络会产生梯度消失。 下面从网络深度和激活函数角度进行解释： （1）网络深度 若在网络很深的时候，若权重初始化很小，各层上的相乘得到的数值都会在0-1之间的小数，而激活函数梯度也是0-1之间的数，那么连乘后，结果数值会变得很小，导致梯度消失，若权重
1. 梯度下降2. 批量梯度下降Batch gradient descent(BGD)3. 随机梯度下降Stochastic gradient descent(SGD)4.小批量梯度下降 Mini-batch gradient descent(MBGD)1. 梯度下降目标函数： 中h(x)为我们的模型预测结果，其中规定x0=1, θ(0～n)为该函数的参数，即我们通过损失函数需要调整的内容。y为准
