1.自组织表 在介绍竟争分析前，我首先介绍一下自组织表，竟争分析就是在自组织表基础下进行分析的。 对于一个有n个元素的列表，从中查找一个元素，查找所要的时间与该元素的位置有关？？我们就需要设计一个算法，对列表进行优化，使查找所需要的时间复杂度最小。 对于一个操作序列，列表优化有两种： （1）在线优化：我们不知道下一个查找的元素，对序列进行优化。 （2）离线优化：我们已经预知了所有查找的元素，根据这
转载
2024-10-29 19:24:28
46阅读
添加其他特征项，有时候我们模型出现欠拟合的时候是因为特征项不够导致的，可以添加其他特征项来很好地解决。例如，“组合”、“泛化”、“相关性”三类特征是特征添加的重要手段，无论在什么场景，都可以照葫芦画瓢，总会得到意想不到的效果。除上面的特征之外，“上下文特征”、“平台特征”等等，都可以作为特征添加的首选项。添加多项式特征，这个在机器学习算法里面用的很普遍，例如将线性模型通过添加二次项或者三次项使模型
作者： Jason Brownlee提升算法性能的想法这个列表并不完整，却是很好的出发点。我的目的是给大家抛出一些想法供大家尝试，或许有那么一两个有效的方法。往往只需要尝试一个想法就能得到提升。我把这个列表划分为四块：· 从数据上提升性能· 从算法上提升性能· 从算法调优上提升性能· 从模型融合上提升性能性能提升的力度按上表的顺序从上到下依次递减。举个例子，新的建模方法或者更多的数据带来的效果提升
转载
2024-08-20 17:48:41
28阅读
通过增强ImageNet数据，我们获得了新的最先进的精度，top1精度为83.54%，而在CIFAR10上，我们实现了1.48%的错误
原创
2024-04-30 10:39:10
129阅读
1.问题 在深度学习中，评估模型很重要的一点就是准确率，就是正例预测也是正例的数量占所有预测是正例的数量的比例，但在模型训练中，准确率有时候不是很高，我们就需要来提高准确率，让模型达到我们的要求，2.方法 在网上我们可以找到很多提高准确率的方法，优化参数，修改模型等等，都可以提高模型的准确率，我们通过学习率的方法来提
原创
2022-10-08 09:08:58
399阅读
降低数值精度以提高深度学习性能 Lowering Numerical Precision to Increase Deep Learning Performance 深度学习训练和推理将成为未来几十年的计算重量级。例如，训练图像分类器可能需要1018个单精度操作。这一需求使得深度学习计算的加速成为英
转载
2020-07-12 16:30:00
336阅读
2评论
介绍过去两年的大部分时间，我几乎都在深
转载
2019-11-30 13:01:00
195阅读
2评论
2019-11-30 13:50:21介绍过去两年的大部分时间，我几乎都在深度学习领域工作。这是一个相当好的经历，这中间我参与了图像和视频数据相关的多个项目。在那之前，我处于边缘地带，我回避了对象检测和人脸识别等深度学习概念。直到2017年底才开始深入研究。在这段时间里，我遇到了各种各样的难题。我想谈谈四个最常见的问题，大多数深度学习实践者和爱好者在他们的旅程中都会遇到。...
转载
2020-03-02 15:32:19
163阅读
声明1）本文仅供学术交流，非商用。所以每一部...
转载
2020-01-20 20:07:00
365阅读
2评论
蛾是一种奇特的昆虫，与蝴蝶科非常相似。基本上，自然界中有超过160000种这种昆虫。它们一生中有两个主要的里程碑：
原创
2023-07-02 00:49:29
292阅读
一、简介飞饿扑火优 化 算 法 ( Moth-flame optimization algorithm，MFO) 是Seyedali Mirjalili等于2015年提出的一种新型智能优化算法[1]。该算法具有并行优化能力强，全局性优且不易落入局部极值的性能特征，逐渐引起了学术界和工程界的关注。1 算法原理飞蛾在夜间飞行时采用横向的特殊导航机制。在这种机制中，飞蛾通过维持自身相对月亮的角度固定进行飞行，由于月亮距离飞蛾非常遥远，飞蛾利用这种近似的平行光可以保持直线飞行。虽然这种导航机制对飞蛾非常有
原创
2021-11-08 13:43:49
149阅读
一、简介飞饿扑火优 化 算 法 ( Moth-flame optimization algorithm，MFO) 是Seyedali Mirjalili等于2015年提出的一种新型智能优化算法[1]。该算法具有并行优化能力强，全局性优且不易落入局部极值的性能特征，逐渐引起了学术界和工程界的关注。1 算法原理飞蛾在夜间飞行时采用横向定位的特殊导航机制。在这种机制中，飞蛾通过维持自身相对月亮的角度固定进行飞行，由于月亮距离飞蛾非常遥远，飞蛾利用这种近似的平行光可以保持直线飞行。虽然这种导航机制对飞蛾非常有
原创
2021-11-08 13:46:01
88阅读
1、mini-batch2、动量梯度下降3、RMSprophttps://zhuanlan.zhihu.com/p/22252270https://www.zhihu.com/question/558431624、Adamhttps://zhuanlan.zhihu.com/p/222522705、学习率衰减6、调参https://www.leiphone.com/news/201703/pmFP
原创
2023-08-14 11:18:00
10000+阅读
入门小菜鸟，希望像做笔记记录自己学的东西，也希望能帮助到同样入门的人，更希望大佬们帮忙纠错啦~侵权立删。目录一、优化算法与深度学习1、优化算法对于深度学习的意义2、优化算法与深度学习的关系3、优化算法在深度学习中的主要挑战（1）局部最小值（2）鞍点二、深度学习中优化算法的常见算法1、梯度下降（1）批量梯度下降（BGD）（2）随机梯度下降（SGD）（3）小批量随机梯度下降（MBGD）——最常用的梯度
转载
2024-03-14 21:14:44
140阅读
在训练神经网络模型的时候需要使用到优化算法，最终我们都是通过求解代价函数的最优化问题来求解模型的参数。有的时候，训练一个神经网络模型可能需要几百上千台机器同时训练几个月，通过使用优化算法可以节省训练的时间加快模型的收敛。本篇文章主要介绍一下常用的优化算法梯度下降算法指数加权平均算法动量梯度下降RMSprop算法Adam优化算法常用的优化算法在面试的时候也会经常被问到。一、梯度下降算法在训练模型之前
转载
2023-09-20 15:55:46
77阅读
大致总结一下学到的各个优化算法。一、梯度下降法 函数的梯度表示了函数值增长速度最快的方向，那么与其相反的方向，就可看作函数减少速度最快的方向。在深度学习中，当目标设定为求解目标函数的最小值时，只要朝梯度下降的方向前进，就可以不断逼近最优值。梯度下降主要组成部分：1、待优化函数f(x)2、待优化函数的导数g(x)3、变量x，用于保存优化过程中的参数值4、变量x点处的梯度值：grad5、变量
转载
2023-09-06 10:24:27
80阅读
文章目录1.梯度下降算法（batch gradient descent BGD)2.随机梯度下降法（Stochastic gradient descent SGD)3.小批量梯度下降(Mini-batch gradient descent MBGD)4.动量法5.AdaGrad6.RMSProp7.Adam 1.梯度下降算法（batch gradient descent BGD)每次迭代都需要将
转载
2023-11-02 21:07:40
105阅读
深度学习中的优化问题通常指的是：寻找神经网络上的一组参数\(\theta\)，它能显著地降低代价函数\(J(\theta)\)。这里介绍的方法都基于以下两点：梯度的负方向是函数在当前点减小最快的方向；使用一阶泰勒展开式近似当前点的函数值，即：\[f(x)\approx f(x_0)+f'(x_0)(x-x_0)
\]下面介绍几种常用优化算法：梯度下降法及其三个变体BGD(Batch Gradien
转载
2021-01-27 18:00:00
140阅读
一、发展背景及基本框架梯度下降是目前神经网络中使用最为广泛的优化算法之一。为了弥补朴素梯度下降的种种缺陷，研究者们发明了一系列变种算法，从最初的 SGD (随机梯度下降) 逐步演进到 NAdam。然而，许多学术界最为前沿的文章中，都并没有一味使用 Adam/NAdam 等公认“好用”的自适应算法，很多甚至还选择了最为初级的 SGD 或者 SGD with Momentum 等。深度学习优化算法的发
转载
2024-04-24 13:59:52
83阅读
S. Krinidis, V. Chatzis. A Robust Fuzzy Local Information C-Means Clustering Algorithm[J]. IEEE Transactions on Image Processing, 19(5), 2010: 1328-1337. 该算法推导有误，使目标函数无法最小化。 正确的推导请参考： T. Celik, H. K.
