Frequency Coding生物系统中触觉、听觉系统等都有实验表明，神经元的脉冲发放频率与外界刺激成正比，但是有饱和值。生物神经元脉冲一般1～2ms，因此，在编码过程中一般不超过1KHz。生物能够做到快速识别信息，投射到视网膜接收器上的图像没几毫秒就发生一次变化，而这种编码方法必须要完全运行一整个时间窗才能读出编码信息，这显然是很不方便的。尽管该方法没有考虑时序信息，但因为其简单、易操作，仍然
转载
2024-03-25 12:47:44
73阅读
机器学习笔记——梯度下降优化方案一、梯度下降粒度优化1.1 Batch gradient descent1.2 Stochastic gradient descent1.3 Mini-batch gradient descent1.4 三种方法的代码分析二、梯度下降参数优化2.1 步长与梯度的关系2.2 AdaGrad 与 RMSProp2.4 AdaDelta2.5 Momentum 与 Ne
转载
2024-05-06 23:18:42
195阅读
一、概念神经网络是已知自变量x和真实结果y，要求拟合出F(x)。 神经网络的架构可以看做是黑箱测试，但你不知道黑箱指代的F(x)到底是什么，不过没关系，我们知道其中的参数（是随机初始化的），即神经元之间做连接的那些个边指代的权值。一个神经网络的参数是非常庞大的，自变量一般是非常多个，以至于参数也是有很多，且神经网络一般会有很多个隐藏层，所以一个神经网络是一个多元复合函数。我们向黑箱中输入你的自变量
转载
2023-09-05 10:32:33
78阅读
原文链接:http://ihoge.cn/2018/GradientDescent.html最近在看机器学习相关的基础算法原理,意外发现一个大神的分享网页,简洁并且语言精炼,思路很清楚,仔细研究会对算法原理有新的理解,另外还有代码分享,可以手码.引言李航老师在《统计学习方法》中将机器学习的三要素总结为：模型、策略和算法。其大致含义如下：模型：其实就是机器学习训练的过程中所要学习的条...
转载
2021-09-01 16:13:48
1075阅读
自编码器自动编码器是一种无监督的深度学习算法，它学习输入数据的编码表示，然后重新构造与输出相同的输入。它由编码器和解码器两个网络组成。编码器将高维输入压缩成低维潜在代码(也称为潜在代码或编码空间) ，以从中提取最相关的信息，而解码器则解压缩编码数据并重新创建原始输入。这种架构的目标是在编码时最大化信息并最小化重构误差。但是重构误差是什么？它的名字也是重构损失，通常是输入为实值时重构输入与原始输入之
转载
2024-01-10 20:22:54
63阅读
1. 概述梯度下降（gradient descent）在机器学习中应用十分的广泛，不论是在线性回归还是Logistic回归中，它的主要目的是通过迭代找到目标函数的最小值，或者收敛到最小值。 本文将从一个下山的场景开始，先提出梯度下降算法的基本思想，进而从数学上解释梯度下降算法的原理，解释为什么要用梯度，最后实现一个简单的梯度下降算法的实例！2.场景假设梯度下降法的基本思想可以类比为一个下山的过程。
转载
2024-03-27 11:12:31
69阅读
文章目录前言1. 原始的梯度下降1.1 Batch gradient descent1.2 SGD1.3 Mini-batch GD1.4 小结2. 带冲量的梯度下降2.1 Momentum optimization2.2 Nesterov Accelerated Gradient (NAG)3. 学习率自适应的梯度下降3.1 AdaGrad3.2 RMSprop3.3 Adaptive mom
转载
2023-09-27 07:48:44
424阅读
深度学习难以在大数据领域发挥最大效果的一个原因是，在巨大的数据集基础上进行训练速度很慢。而优化算法能够帮助快速训练模型，大大提高效率。一、batch 梯度下降法batch 梯度下降法（批梯度下降法，我们之前一直使用的梯度下降法）是最常用的梯度下降形式，即同时处理整个训练集。其在更新参数时使用所有的样本来进行更新。对整个训练集进行梯度下降法的时候，我们必须处理整个训练数据集，然后才能进行一步梯度下降
转载
2023-11-20 00:27:59
58阅读
神经网络参数优化神经网络中，很多的超参数难以设置，我们可以引入动量(momentum），通过算法来达到优化时间和准确率。1. 动量（momentum）常用的动量有一阶动量和二阶动量： 一阶动量m：与梯度相关的函数 二阶动量v：与梯度平方相关的函数 w为参数，损失函数loss，dw为损失函数对w的倒数，学习率lr。其优化公式为：2. 随机梯度下降法（SGD）随机梯度下降法就是一般的梯度下
转载
2023-10-27 04:23:56
329阅读
一、优化问题优化能力是人类历史上的重大突破, 他解决了很多实际生活中的问题. 从而渐渐演化成了一个庞大的家族。比如说牛顿法 (Newton’s method), 最小二乘法(Least Squares method), 梯度下降法 (Gradient Descent) 等等。二、梯度下降与神经网络的联系而我们的神经网络就是属于梯度下降法这个分支中的一个. 提到梯度下降, 我们不得不说说大学里面学习
转载
2023-10-24 07:05:05
58阅读
假设一个网络如下：第一层是输入层，包含两个神经元i1，i2，和截距项b1；注：截距项类似中的常数项c。第二层是隐含层，包含两个神经元h1,h2和截距项b2；第三层是输出层，包含两个神经元o1,o2。每条线上标的wi是层与层之间连接的权重，激活函数我们默认为sigmoid函数。现在对他们赋上初值，如下图： 其中，输入数据 i1=0.05，i2=0.1; 输出数据 o1=0
1.算法描述最近在做AutoEncoder的一些探索，看到2016年的一篇论文，虽然不是最新的，但是思路和方法值得学习。论文有感于t-SNE算法的t-分布，先假设初始化K个聚类中心，然后数据距离中心的距离满足t-分布，可以用下面的公式表示: 其中 i表示第i样本,j表示第j个聚类中心, z表示原始特征分布经过Encoder之后的表征空间。$q_{ij}$可以解释为样本i属于聚类j的概率，
转载
2023-10-07 22:02:33
94阅读
参考：https://github.com/apachecn/vt-cs4624-pyml-zh/blob/master/docs/22.md
https://github.com/apachecn/vt-cs4624-pyml-zh/blob/master/docs/23.md由于之前有了解CNN，该文章将跳过大部分细节，仅供本人记录学习过程用卷积神经网络Convolutional N
转载
2023-11-03 08:52:55
110阅读
机器学习10：如何理解随机梯度下降1.梯度下降法 理解随机梯度下降，首先要理解梯度下降法。 大多数机器学习或者深度学习算法都涉及某种形式的优化，优化指的是改变 x以最小化或最大化某个函数的任务， 我们通常以最小化 指代大多数最优化问题， 最大化可经由最小化算法最小化-来实现。&n
# 实现神经网络梯度下降的步骤
### 1. 简介
神经网络是一种模仿人脑神经元工作方式的计算模型，梯度下降是神经网络中常用的优化算法。在本文中，我将向你解释神经网络梯度下降的原理和实现步骤，并为你提供相应的代码和注释。
### 2. 流程概述
神经网络梯度下降的实现可以分为以下几个步骤：
1. 初始化模型参数
2. 前向传播计算预测值
3. 计算损失函数
4. 反向传播计算梯度
5. 更新
原创
2023-09-18 05:18:30
240阅读
误差逆传播（BP）算法初介绍正向传播FP就损失反向传播BP回传误差根据误差修改权重继续迭代至最优算法推导梯度下降简介梯度下降就是从起点开始，沿着梯度 的方向，按照步长 的大小，一步一步地走到谷底梯度的理解梯度分为正梯度方向和负梯度方向（可以理解为求最大值和最小值）谷底的理解（以负梯度为例）达到最小值步长的理解第一，步长长度太小第二，步长太大值得注意的是，步长太大，很可能跨过最低点，运气好的话可能会
转载
2023-12-19 20:52:18
29阅读
（1）神经网络中的神经元的输出：（2）梯度下降算法：（3）随机梯度下降：（每次训练完一个batch后，进行一次参数更新）（4）反向传播：（5）momentum：是梯度下降法中一种常用的加速技术。对于一般的SGD，其表达式为,沿负梯度方向下降。而带momentum项的SGD则写生如下形式：（6）学习率：（7）weight decay:weight decay是放在正则项（regularization
转载
2023-10-30 23:13:40
218阅读
主要参考了吴恩达老师【神经网络和深度学习】系列课程。 文章目录一、梯度下降（Gradient Descent）(1) 梯度下降理解(2) 算法过程(3) 神经网络中的梯度下降二、随机梯度下降（Stochastic Gradient Descent）三、Mini-batch梯度下降（Mini-batch Gradient Descent）四、总结参考 一、梯度下降（Gradient Descent）
转载
2023-07-29 11:19:20
183阅读
如求函数的最小值。利用梯度下降的方法解题步骤如下：1、求梯度2、向梯度相反的方向移动，如下，其中， 为步长。如果步长足够小，则可以保证每一次迭代都在减小，但可能导致收敛太慢，如果步长太大，则不能保证每一次迭代都减少，也不能保证收敛。3、循环迭代步骤2，直到的值变化到使得在两次迭代之间的差值足够小，比如0.00000001，也就是说，直到两次迭代计算出来的 基本没有变化，则说明此时 已经达到局部最小
转载
2024-01-29 14:50:26
55阅读
梯度下降法是一种求函数最小值的算法。在机器学习中，预测值和实际值之间的差称为误差。将所有数据点上的所有误差加在一起时称为成本。当然，我们希望最小化代表此成本的函数 - 成本函数。在机器学习中梯度下降是什么意思呢?通过使用称为反向传播的技术来训练神经网络。梯度下降是反向传播的一个非常重要的部分。梯度下降法是一种非常流行的方法来调整机器学习模型的参数，以达到最小的误差状态。机器学习算法是告诉机器学习数
转载
2024-03-26 16:00:50
130阅读
