反向传播： 梯度下降算法主要用于优化单个参数的取值，我在之前的文章记录过。而反向传播给出了一个高效的方式在所有的参数上使用梯度下降算法，从而使神经网络模型在训练集上的损失函数尽可能小。这里不介绍反向传播的具体实现，只知道反向传播可以计算损失函数对每一个参数的梯度，再根据梯度和学习率使用梯度下降算法更新每一个参数。需要注意的是，反向传播算法并不能保
转载
2023-11-25 12:33:26
107阅读
文章目录矩阵展开与复原展开复原梯度检验随机初始化 矩阵展开与复原展开当我们不想自己手写梯度下降或者别的什么算法，而是想直接调用已有函数的话，都要考虑兼容性问题。比如matlab自带的fminunc函数，它可以比梯度下降更快的找到使函数值最小的参数，但它要求使用者提供代价-梯度函数，且返回的代价、梯度和作为自变量的参数都要是向量形式。但在神经网络原理部分，参数、梯度都是矩阵形式，这个时候就需要我们对
转载
2023-10-02 10:30:46
216阅读
从四个方面（数据集、数据归一化／增强、实现、训练）I. 数据集问题 1. 检查你的输入数据 检查馈送到网络的输入数据是否正确。例如，我不止一次混淆了图像的宽度和高度。有时，我错误地令输入数据全部为零，或者一遍遍地使用同一批数据执行梯度下降。因此打印／显示若干批量的输入和目标输出，并确保它们正确。2. 尝试随机输入 尝试传递随机数而不是真实数据，看看错误的产生方式是否相同。如果是，说明在
02 网络优化与正则化1. 神经网络常遇到的两个问题1）优化问题：a 神经网络的损失函数通常是一个非凸函数，找到全剧最优值比较难；b深度学习的参数通常比较多，训练数据也比较大，因此也无法使用计算代价很高的二阶优化方法，而一阶优化方法的训练效率通常比较低。c深度学习存在梯度消失或爆炸问题，导致基于梯度的优化方法经常失效。 2）泛化问题。深度神经网络的复杂度比较高，并且拟合能力很强，很容易在训练集上产
转载
2023-10-24 05:38:48
281阅读
深度学习的核心问题就是一个非常难的优化问题。所以在神经网络引入后的几十年间，深度神经网络的优化问题的困难性是阻碍它们成为主流的一个重要因素。并导致了它们在20世纪90年代到21世纪初期间的衰落。不过现在已经基本解决了这个问题。在本篇博文中，我会探讨优化神经网络的“困难性”，以及理论上是怎么解释这个问题的。简而言之：神经网络变得越深，优化问题就会变得越难。最简单的神经网络是单节点感知
转载
2023-12-29 19:15:54
59阅读
笔记总结自《神经网络与深度学习》第7章-网络优化与正则化1. 高纬空间的非凸优化在高纬空间中，大部分的局部最优点都是鞍点。因此，在深度网络的非凸优化问题的难点是如何逃离鞍点。通过引入随机因素，能够解决梯度下降方法在鞍点附近梯度为0的问题，从而有效地逃离鞍点。2. 改善神经网络计算的优化方法2.1 小批量（Mini-batch ）梯度下降初衷：通常深度神经网络使用的数据量都非常大，不适合一次性加载所
转载
2023-09-02 11:08:30
118阅读
计算机视觉笔记总目录
1 最优化(Optimization)定义：最优化是寻找能使得损失函数值最小化的参数的过程注：给的是损失优化问题的一个简单定义，并不是完整的最优化数学定义方法：问题陈述： 这节的核心问题是：给定函数 ，其中是输入数据的向量，需要计算函数相对于的梯度，也就是1、找到一个目标函数2、找到一个能让目标函数最优化的方法3、利用这个方法进行求解过程描述：因为在神经网络中对应的是损失函，
转载
2023-09-21 09:59:12
214阅读
最终使得网络可以无限的逼近一种我们想要拟合的函数，最终训练好的网络它既能在训练集上表现好，也能在测试集上表现不错！ 那么BP算法具体是什么呢？为什么通过BP算法，我们就可以一步一步的走向最优值（即使有可能是局部最优，不是全局最优，我们也可以通过其它的方法也达到全局最优），有没有一些什么数学原理在里面支撑呢？1 BP算法 BP算法具体是什么，可以参考我上篇文章推送（详细的将BP过程走
转载
2023-08-24 20:37:01
274阅读
介绍一些神经网络中常用的优化方法。包括动态学习率、正则化防止过拟合、滑动平均模型。 优化方法学习率的设置TensorFlow提供了一种学习率设置方法——指数衰减法。全部方法见Decaying_the_learning_ratetf.train.exponential_decay函数先使用较大的学习率来快速得到较优解，然后随着训练步数的增多，学习率逐步降低，最后进行微调。该函数的官网介绍：expon
转载
2023-11-25 14:00:17
59阅读
神经网络的学习的目的就是找到合适的参数使损失函数的值尽可能的小。这种寻找最优参数的过程就叫做最优化（optimization）。然而在深度神经网络中，参数的数量非常庞大，导致最优化的问题非常复杂。下面介绍四种常见的最优化的方法，并通过一个例子进行比较。1. SGD(stochastic gradient descent)SGD即随机梯度下降法，这个方法通过梯度下降法更新参数，不过因为这里使用的数据
转载
2023-06-06 20:06:53
198阅读
目录1. 为什么优化？2. 使用正则化技巧提高模型的泛化能力3. 梯度下降（解决局部最小值问题）3.1 梯度下降的原理3.2 梯度下降过程3.3 批量大小选择3.3 随机梯度下降 SGD3.4 批量随机梯度下降 Batch-SGD3.5 小批量随机梯度下降 Mini-Batch-SGD4. 动量法 （解决鞍
转载
2023-10-10 21:11:00
126阅读
1. 最优化(Optimization)定义：最优化是寻找能使得损失函数值最小化的参数W的过程。注：给的是损失优化问题的一个简单定义，并不是完整的最优化数学定义。给定函数\(f(x)\)，其中\(x\)是输入数据的向量，需要计算函数\(f(x)\)相对于\(x\)的梯度，也就是\(\Delta f(x)\)1.1. 梯度下降算法模型的训练即是寻找合适的w和b以最小化代价函数值。参数\(w\)和\(
转载
2023-05-25 23:12:24
148阅读
一般神经网络的训练过程可分为两个阶段：第一阶段先通过前向传播算法计算得到预测值，并将预测值和真实值做对比，得出两者之间的距离；第二个阶段，通过反向传播算法计算损失函数对每一个参数的梯度，再根据梯度和学习率使用梯度下降算法更新每一个参数。1. 基于梯度的优化 基于梯度的优化就是优化一个函数的最终取值，假设 x 是函数的输入参数，J(x
转载
2023-10-18 18:40:47
112阅读
前情回顾深度学习概述和数学基础机器学习基础概述本节我们简要回顾了神经网络的发展史，了解了神经元模型，和感知机模型，以及后面发展起来并逐渐成为主流的反向传播算法。反向传播算法实为求解优化问题，在这个具体的优化问题的求解过程中会面临非凸优化以及梯度消失的问题；针对非凸优化，我们一般采用交叉熵代价函数而非平方误差作为损失函数；而针对梯度消失，我们在使用sigmoid或者tanh作为激活函数时，需要考虑将
转载
2023-11-23 23:59:36
205阅读
Tensorflow基础：神经网络优化算法本文主要介绍如何通过反向传播算法（backpropagation）和梯度下降算法（gradient decent）调整神经网络中参数的取值。神经网络模型中参数的优化过程直接决定了模型的质量，是使用神经网络时非常重要的一步。 假设用θ表示神经网络中的参数，J(θ)表示在给定的参数取值下，训练数据集上损失函数的大小，那么整个优化过程可以抽象为寻找一个参数θ，
转载
2023-10-26 19:08:58
164阅读
学习使用hopfield神经网络解决TSP问题（毕业设计Day01）本篇文章主要是学习 <Hopfield神经网络在TSP问题中的应用_兰兆青>这篇文章，如有侵权，请联系删除。 （这系列文章主要是为了帮助自己理清思路，更好的了解神经网络，最终完成毕业设计，其中绝大部分内容都是引用兰兆青先生的文章）了解TSP 问题TSP问题的原始定义是有一个推销员要到n个城市推销商品,他要找出一个包含所
转载
2023-08-04 20:50:35
414阅读
现在常见的卷积神经网络中卷积核的大小很大程度影响着整个神经网络的参数量。现就这个问题给出一种优化办法，具体数学推导过程如下：说卷积神经网络卷积核的优化之前先简单的介绍一下卷积核的运算过程：设一张图片的像素x*x，卷积核是k*k，步长为s那么经过一层卷积网络后得到图像的像素为，一个7*7的图像经过一个7*7的卷积核提取后的就变成一个1*1像素的图片。那么训练这个模型需要更新49个参数。 当变成3*3
转载
2023-08-21 23:11:27
134阅读
统计机器学习求解模型参数的过程是最优化问题求解过程，有的时候求解的问题比较简单，解析解存在，直接通过公式计算即可，而有的时候解析解不存在，需要通过数值计算和启发式算法求解。无约束优化无约束优化问题是不带任何约束的优化问题， f(x)是x的函数 ,如下: ∇f(x)= 0的点即为该问题的解 ，如果没有解析解，可以使用梯度下降或牛顿方法等迭代算法来求解。等式约束优化等式约束优化问题，如下式所示：
转载
2024-08-26 15:20:12
36阅读
神经网络-逻辑回归目录 神经网络-逻辑回归目录逻辑回归概念tips梯度下降绘制计算分析图方法逻辑回归中的梯度下降简单的算法描述矢量化tipsnumpy广播机制引起的隐形 bug 以及解决回顾深度学习训练步走 逻辑回归概念定义： LossFun: costFun: tips这里不用普通 L1Loss 的原因：使用 L1loss 会使得 GD无法找到全局最优解(因为不是凸函数)costFun
转载
2023-10-08 19:17:24
98阅读
神经网络中的优化方法在上一章，我们已经讲了参数的初始化，下一步就是通过训练数据集，来寻找使得损失函数值最小的（W,b），在这个过程中，一个好的优化算法往往可以帮助我们更加快速、准确地找到合适的参数。因此，本文就神经网络中的各种优化算法做简要的分析与讨论长期以来，人们普遍认为，神经网络优化问题困难是因为较大的神经网络中包含很多局部极小值，使得算法容易陷入到其中某些点。后来，人们才发现，在深度学习的寻
转载
2023-10-09 16:17:52
277阅读
