机器学习初学者，超级小白，不对的地方尽请批评指正。欢迎一起探讨。 K-nearest Neighbors 学习方法是基于实例的，可用于逼近实值或离散目标函数，概念简明。对于基于实例的算法，学习过程只是简单地存储已知的训练数据，当遇到新的查询实例时，一系列相似的实例被从存储器中取出，并用来分类新的查询实
转载
2024-03-18 10:21:38
51阅读
近邻算法近邻算法近邻算法的理解近邻算法的迭代近邻算法实战 近邻算法近邻算法(Affinity Propagation, AP)是Science在2007年发布的聚类算法，但其基本目标和K-means一致，都是追求找出组内距离平方和最小的划分方法。既然目标都一致，已经有了K-means为什么还会出现近邻算法呢？其实很简单，近邻算法有比K-means优秀的地方：近邻算法训练前不需要指定分组数目（K-
前文我们讲过FFD形变与梯度下降优化算法的原理：梯度下降法详解图像配准系列之基于B样条的FFD自由变换原理与C++实现图像配准系列之基于FFD形变与梯度下降法的图像配准1. “FFD形变+梯度下降法”配准的主要耗时点我们知道，基于“FFD形变+梯度下降优化”图像配准的核心思路是：假设图像A为基准图像，图像B为浮动图像，使用FFD形变作为形变模型，对图像B进行形变，并计算图像A与形变之后的图像B的相
NEAT（NeuroEvolution of Augmenting Topologies）算法详解与实践（基于NEAT-Python）NEAT算法详解NEAT算法概述NEAT编码方案结构突变带有创新编号的交叉算子物种形成(Speciation)NEAT算法实践——使用NEAT进行XOR问题求解器的优化XOR问题介绍XOR问题的目标函数超参数NEAT部分介绍DefaultStagnation部分介绍
SGDSGD是最传统的梯度下降方法. 我们设需要优化的参数是θ,θt表示第t个时刻参数θ的值. 设输入是x,要优化的目标函数是f(x). gtΔθt==∇θt−1f(x,θt−1)−η∗gt其中,ηMomentumMomentum这种方法引入了动量的概念,除了当前得到的梯度,算法还会考虑上一次的梯度. mtΔθt==μ∗mt−1+gt−η∗mt其中,μ由于动量的缘故,Momentum相比起
最近因为项目需要，开始深入研究智能算法加速这个领域，本来也是做信号算法出身，遂做的稍微有点心得，跟大家分享一下，有不当之处还是希望跟大家沟通交流。现阶段的算法加速，我个人理解其实就可以跟算法并行化划等号了，常用的就是GPU，DSP，FPGA，在这些已经设计好的平台上进行算法移植，配合硬件平台的特性，对其计算过程进行加速。加速主要分三个层面吧：1.算法并行化排序算法中冒泡排序和选择排序算法的时间复杂
转载
2024-06-28 14:53:14
67阅读
ARM处理器从cortex系列开始集成NEON处理单元，该单元可以简单理解为协处理器，专门为矩阵运算等算法设计，特别适用于图像、视频、音频处理等场景，应用也很广泛。 本文先对NEON处理单元进行简要介绍，然后介绍如何在内核态下使用NEON，最后列举实例说明。 一.NEON简介Cortex™-A Series Programmer’s Guide
比Momentum更快：揭开NAG的真面目 作为一个调参狗，每天用着深度学习框架提供的各种优化算法如Momentum、AdaDelta、Adam等，却对其中的原理不甚清楚，这样和一条咸鱼有什么分别！（误）但是我又懒得花太多时间去看每个优化算法的原始论文，幸运的是，网上的大神早就已经帮人总结好了：《A
原创
2021-07-09 14:40:16
3066阅读
昨天的文章相当于是backtrader的"hello world"，直接感受一下bt的使用。今天开始，我们要来实战一下，“轮动”模型是量化中经典的范式。如果仅交易一个标的，比如一只股票或者指数，那么叫“择时”模型。“择时”是所有模型里最难的。大家知道金融数据里噪声多，择时就是“预测”，难度很高。“轮动”模型天然就是一个投资组合策略，本身组合的波动就在下降（标的池里的指数相关性越低，效果越好，比如沪
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录提出的方法一、解决的问题二、思路三、算法四、实验五、结论 提出的方法提出了两种新的方法来提高对抗实例的可移植性，即Nesterov Iterative Fast Gradient Sign Method (NI-FGSM)和尺度不变攻击法(SIM)。 NI-FGSM：利用Nesterov来跳出局部最优解，获得更好的优化。 S
转载
2024-03-25 13:02:13
18阅读
Nesterov’s Accelerated Gradient Descent一般的梯度下降算法的收敛速率为 o(1/t),t表示迭代的次数。但是人们已经证明了随着迭代次数t的增加。收敛速率可以到达o(1/t2).1.简介:加速梯度算法(AGD)是梯度算法(GD)的一个改进的版本。Nesterov 在1983年首次提出。人们已经证明AGD算法是所有基于梯度算法（或者说一阶）算法中最好的方法。然而原
转载
2024-03-16 17:04:53
534阅读
一、机器学习算法的常见流程一般的机器学习分类算法，我们可以通常从三个步骤得到，以SVM算法为例，这里规定正例的y为1，负例的y为-1Step 1: Function Set(Model) Step 2: Loss function理想情况下的loss function(ideal loss)是当g(x)和y不相等的情况下的样本相加，但是这种情况下的损失函数是不可微分的，所以无
转载
2024-05-14 15:05:32
249阅读
在我们撰写毕业论文的时候，除了要大量查阅近年来的中文文献资料，还需要一些优秀的外文文献资料，从而体现出该课题的全面性。那么如何搜索查找到自己想要的高质量外文文献就是一项比较困难的事情了。首先我们要知道，要想找到并下载一篇优秀的外文文献，最好的办法就是把自己想象成一名外国大学生，想象一下自己想要找文献资料要去哪些网站上找，今天我就为大家罗列一些外国常用的文献线索网站都有哪些，快来记笔记吧。全文大约2
XCache 是一个又快又稳定的 PHP opcode 缓存器. 经过良好的测试并在大流量/高负载的生产机器上稳定运行. 经过(linux上)测试并支持所有现行 PHP 分支的最新发布版本, 如 PHP4.4 PHP5.2, 并支持线程安全。 与同类 opcode 缓存器相比更胜一筹, 比如能够快速跟进 PHP 版本. 详情请参考http://xcache.lighttpd.net/ 介绍.
Nesterov 加速算法梯度下降动量梯度下降Nesterov 梯度下降思考 梯度下降是我们在优化或者深度学习中经常要用到的算法，基于最原始的梯度下降算法，有很多加速算法被提出，今天我们着重介绍Nesterov 加速算法。Nesterov 加速算法可以在理论上证明有比梯度下降更快的收敛率，本文不会重点介绍收敛率的证明，而是会通过一些推导从几何直观上给出为什么使用Nesterov 的技术可以对原来
转载
2024-06-05 04:31:24
262阅读
【翻译自 ： Gradient Descent With Nesterov Momentum From Scratch】 【说明：Jason Brownlee PhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！
转载
2024-06-05 06:30:56
137阅读
梯度下降 （一）： 批梯度下降、随机梯度下降、小批量梯度下降、动量梯度下降、Nesterov加速梯度下降法前言梯度下降法（GD / Gradient Descent）单变量线性回归模型（Univariate Linear Regression）批梯度下降法（Batch GD / Batch Gradient Descent）随机梯度下降法（SGD / Stochastic Gradient De
转载
2024-06-03 10:05:50
577阅读
在本篇论文中，作者公布了一个名为AdaBound的神经网络优化算法，简单地说，这个算法训练速度比肩Adam，性能媲美SGD。 这个算法适用于CV、NLP领域，可以用来开发解决各种流行任务的深度学习模型。而且AdaBound对超参数不是很敏感，省去了大量调参的时间。一、Abstract摘要 & Introduction介绍 自适应方法Adaptive optimization methods
转载
2024-07-11 19:34:18
98阅读
一、深度学习中常用的调节参数原文链接：1、学习率步长的选择：你走的距离长短，越短当然不会错过，但是耗时间。步长的选择比较麻烦。步长越小，越容易得到局部最优化（到了比较大的山谷，就出不去了），而大了会全局最优一般来说，前1000步，很大，0.1；到了后面，迭代次数增高，下降0.01，再多，然后再小一些。 2、权重梯度消失的情况，就是当数值接近于正向∞，求导之后就更小的，约等于0，偏导为0 梯度爆炸，
一、接着上一篇文章，我们已经能编写代码，让其输出了二、创建各种模块指令（1）创建controllor项目模块：nest g co test1（2）创建module项目模块：nest g mo test2 (3)创建service项目模块：nest g service test3 三、接口格式统一四、配置接口文档swagger首先安装：npm instal
转载
2024-03-17 14:30:33
29阅读
