主要是个人备忘录，很不完整和规范。 基本都省略了偏置。简单RNN数学公式\[ h_{t}=g(W^{(h)}h_{t-1}+W^{(x)}x_t) \\ y_{t}=f(Vh_t) \] 简单解释就是，对于每个位置，输入保存的上一个状态 \(h_{t - 1}\)和输入\(x_t\)，然后输出新的状态\(h_t\)，这个操作一般是线性变换再接一个激活函数，比如\(tanh，sigmoid\)，然后
转载
2024-10-25 15:12:43
99阅读
导数、偏导数、方向导数、梯度和梯度下降0 前言1 导数3 导数和偏导数4 导数与方向导数5 导数与梯度6 导数与向量7 梯度下降法8 参考资料 0 前言机器学习中的大部分问题都是优化问题，而绝大部分优化问题都可以使用梯度下降法处理，那么搞懂什么是梯度，什么是梯度下降法就非常重要！这是基础中的基础，也是必须掌握的概念！ 提到梯度，就必须从导数（derivative）、偏导数（partial de
转载
2024-07-15 13:37:37
54阅读
梯度下降以及其定义方向导数directional derivative：在函数定义域的内点，对某一方向求导得到的导数。一般为二元函数和三元函数的方向导数，方向导数可分为沿直线方向和沿曲线方向的方向导数梯度gradient的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）梯度实际上就是多变量微分的
转载
2024-05-07 17:13:21
116阅读
逻辑回归模型引入模型描述模型求解策略（代价函数）模型求解算法 - 梯度下降1. 模型引入线性模型可以进行回归学习（参见【机器学习模型1】- 线性回归），但如何用于分类任务？需要找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。对于二分类任务，输出标记 y取值 {0,1}，而线性回归预测值 z=wTx+b属于实数集 R，所以需要一个变换使实值 z映射到 0/1 值。 引入 Si
目录直观感受梯度消失和爆炸（特例）数学感受梯度消失和梯度爆炸简单回忆 反向传播（BP） 的流程：简单回忆 SimpleRNN 模型：开始BPTT干掉它:)简单回忆LSTMLSTM中的BPTT缓解梯度消失/爆炸问题 LSTM现在都已经成为一个标准RNN，大家说RNN多半指的是LSTM，而最开始的RNN多称为 Simple RNN。所以本文主要是对于SimpleRNN为什么会存在 梯度消失/爆炸问
转载
2024-04-03 11:06:37
126阅读
梯度消失主要是因为网络层数太多，太深，导致梯度无法传播。本质应该是激活函数的饱和性。
DNN结果出现nan值？
梯度爆炸，导致结果不收敛。都是梯度太大惹的祸，所以可以通过减小学习率（梯度变化直接变小）、减小batch size（累积梯度更小）、 features规格化（避免突然来一个大的输入）。 RNN的梯度爆炸和消失问题不幸的是，实践中前面介绍的几种RNNs并不能很好的处理较长的序列。
转载
2024-03-23 11:22:30
161阅读
目录 梯度消失原因之一：激活函数 梯度消失原因之二：初始化权重 不同损失函数下RNN的梯度消失程度对比 实践中遇到梯度消失怎么办？ 参考资料在实践过程中，RNN的一个缺点是在训练的过程中容易梯度消失。梯度消失原因之一：激活函数sigmod的导函数峰值为0.25，由于反向传播的距离越长，连乘的小数越多，所以sigmod一定会产生梯度消失，并且很严重。但是因为tanh的导函数峰值为1，所以t
转载
2024-04-25 12:43:09
52阅读
1）贴上视频学习笔记，要求真实，不要抄袭，可以手写拍照。 2）用自己的话总结“
转载
2024-09-30 19:14:08
34阅读
什么是导数？导数是函数的斜率。导数与导数函数的区别是什么？函数 \(f(x)\) 的导数函数 \(f'(x)\) 是一个函数，它给出了在任意 \(x\) 值处的函数斜率。 这表示：如果要求函数在 \(x\) 处的斜率，只需要将 \(x\)如何计算导数在发现求导公式之前，人们必须要对每一点求单独求差商。 使用求导公式，一切就变得简单了,常用的导数公式如下：幂函数 \(f(x)=x^n\) 的导数函数
原创
2023-06-22 07:37:33
538阅读
之前的RNN，无法很好地学习到时序数据的长期依赖关系。因为BPTT会发生梯度消失和梯度爆炸的问题。RNN梯度消失和爆炸对于RNN来说，输入时序数据xt时，RNN 层输出ht。这个ht称为RNN 层的隐藏状态，它记录过去的信息。语言模型的任务是根据已经出现的单词预测下一个将要出现的单词。学习正确解标签过程中，RNN层通过向过去传递有意义的梯度，能够学习时间方向上的依赖关系。如果这个梯度在中途变弱（甚
转载
2024-03-05 14:29:05
240阅读
Batchnorm是深度学习发展以来提出的最重要的成果之一了，目前已经被广泛的应用到了各大网络中，具有加速网络收敛速度，提升训练稳定性的效果，Batchnorm本质上是解决反向传播过程中的梯度问题。batchnorm全名是batch normalization，简称BN，即批规范化，通过规范化操作将输出信号x规范化到均值为0，方差为1保证网络的稳定性。结合上面的实验，作者们认为神经网络的退化才是难
转载
2024-05-11 09:53:24
434阅读
原创 lightcity 光城 2018-11-22SVM梯度求导及实现0.说在前面1.梯度推导2.实现3.作者的话0.说在前面昨晚看了一部电影，叫做我是马布里，非常正能量，推荐给各位，看完这部电影的总结话是：冠军与非冠军的区别在于你一直并没有将两者进行明确界定，只是模糊了两者的边缘，我们不是适应边缘化的人，而是打破边缘化的创造者！今天重点来推导SVM梯度及代码实现，下面一起来实战吧！1.梯度推导
转载
2021-03-18 14:11:35
171阅读
梯度消失和梯度爆炸在训练神经网络的过程中是常常出现的。其实，梯度消失与梯度爆炸归根结底是一种情况，大家继续往下看。在学习机器学习之前，我自己也搜索了很多资料，但一些博客对于一些初学者并不适用，讲的比较专业。
建议：如果是研究生的话，建议还是先去读一下BP算法（反向传播那篇论文），理解会更加深刻。
先说一下，梯度消失和梯度爆炸的原因：梯度消失的原因：一是在深层网络中，二是采用了不合适的损失
vanishing gradients and fancy RNNs（RNN家族与梯度消失） 文章目录vanishing gradients and fancy RNNs（RNN家族与梯度消失）内容大纲：Vanishing gradientExploding gradient如何修复vanishing gradient的问题LSTM（Long short-Term Memory）LSTM是如何解决
转载
2024-07-19 17:09:01
61阅读
1 线性目标的梯度优化 损失函数： 算法1 : 批量梯度下降BGD 每次迭代使用所有样本来对参数进行更新。 损失函数：代数形式： 矩阵形式： 更新： &nbs
SVM梯度求导及实现0.说在前面1.梯度推导2.实现3.作者的话0.说在前面昨晚看了一部电影，叫做我是马布里，非常正能量，推荐给各位，看完这部电影的总结话是：冠军与非冠军...
原创
2021-08-03 09:42:38
469阅读
x经过某些运算得到1个y，那么就出现了dy/dx，以及x→y的映射（y是如何由x运算得到的）。 dy/dx的获得需两步：y.backward() 、x.grad，即反向传播、求出梯度 x→y的映射，是Tensor对象的一个属性grad_fn：y.grad_fn 注意，反向传播会累加梯度，所以反向传播
转载
2020-04-03 15:41:00
431阅读
2评论
有很多机器学习的模型的最优化参数不能像普通最小二乘法那样算出解析解，此时需要使用迭代优化方法。梯度下降优化方法是通过让w值沿着梯度下降的方向逐步迭代演进，从而使得损失函数最小化的过程。梯度下降的数学表达式：（1）其中是步长，也叫学习率，学习率选的大，损失函数不收敛，选的小，收敛又太慢。:= 表示迭代运算。在《机器学习学习笔记（4）----线性回归的数学解析》中我们推导过线性回归模型的损失函数的梯度
转载
2024-03-29 14:47:53
70阅读
“LSTM 能解决梯度消失/梯度爆炸”是对 LSTM 的经典误解。这里我先给出几个粗线条的结论，详细的回答以后有时间了再扩展：1、首先需要明确的是，RNN 中的梯度消失/梯度爆炸和普通的 MLP 或者深层 CNN 中梯度消失/梯度爆炸的含义不一样。MLP/CNN 中不同的层有不同的参数，各是各的梯度；而 RNN 中同样的权重在各个时间步共享，最终的梯度 g = 各个时间步的梯度 g_
转载
2024-04-22 20:32:38
82阅读
一、RNN介绍RNN和DNN，CNN不同，它能处理序列问题。常见的序列有：一段段连续的语音，一段段连续的手写文字，一条句子等等。这些序列长短不一，又比较难拆分成一个个独立的样本来训练。那么RNN又是怎么来处理这类问题的呢？RNN就是假设我们的样本是基于序列的。比如给定一个从索引0到T的序列，对于这个序列中任意索引号t，它对应的输入都是样本x中的第t个元素x(t)。而模型在序列索引号t位置的隐藏状态
转载
2024-03-26 11:06:52
132阅读
