第一篇是这个：https://zhuanlan.zhihu.com/p/32230623 在上面一篇文章已经讲了： 接下来是这篇文章：https://zhuanlan.zhihu.com/p/32262540《Adam那么棒，为什么还对SGD念念不忘 (2)—— Adam的两宗罪》Adam罪状一：可能不收敛Adam罪状二：可能错过全局最优解他们提出了一个用来改进Adam的方法：
转载
2024-05-06 12:02:05
95阅读
斯坦福CS231n课程确实很好，学了有两三遍，每次都有不一样的收获，理解的也更深刻。这里把自己觉得重要的东西记录下来，以加深印象，同时便于查阅。CS211n简书笔记链接：https://www.jianshu.com/p/182baeb82c71图像分类笔记（上） CIFAR-10数据集共有60000张32x32大小
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayx各种优化器Optimizer的总结与比较https://blog..net/...
转载
2021-10-25 15:27:06
2009阅读
【论文】Kingma D , Ba J . Adam: A Method for Stochastic Optimization[J]. Computer ence, 2014.（pdf）论文首次提出了 Adam 算法——基于一阶导数的随机梯度下降算法Adam 是对 SGD、AdaGrad 和 RMSProp 算法的优化Adam 结合 AdaGrad 和 RMSProp 两种算法的优点，对梯度的一
转载
2024-05-15 06:41:10
86阅读
一、关于优化器深度学习的目标是通过不断改变网络参数，使得参数能够对输入做各种非线性变换拟合输出，本质上就是一个函数去寻找最优解，所以如何去更新参数是深度学习研究的重点。 通常将更新参数的算法称为优化器，字面理解就是通过什么算法去优化网络模型的参数。常用的优化器就是梯度下降。接下来讲的就是梯度下降和进一步优化梯度下降的各种算法。 优化器或者优化算法，是通过训练优化参数，来最小化（最大化）损失函数。损
转载
2024-02-23 15:50:51
103阅读
课程目录（在更新，喜欢加个关注点个赞呗）：从零学习pytorch 第1课 搭建一个超简单的网络从零学习pytorch 第1.5课 训练集、验证集和测试集的作用从零学习pytorch 第2课 Dataset类从零学习pytorch 第3课 DataLoader类运行过程从零学习pytorch 第4课 初见transforms从零学习pytorch 第5课 PyTorch模型搭建三要素从零学习pyto
之前在tensorflow上和caffe上都折腾过CNN用来做视频处理，在学习tensorflow例子的时候代码里面给的优化方案默认很多情况下都是直接用的AdamOptimizer优化算法，如下： optimizer = tf.train.AdamOptimizer(learning_rate=lr
转载
2018-08-01 11:33:00
228阅读
神经网络优化算法是深度学习中至关重要的组成部分，它们通过调整网络参数以最小化损失函数，从而提高模型的准确性和泛化能力。以下是对SGD（随机梯度下降法）和Adam等几种常见神经网络优化算法的综述：SGD（随机梯度下降法）SGD是一种常用的优化算法，主要用于训练机器学习模型，尤其是神经网络。其基本思想是基于单个样本或小批量样本来更新模型参数，而不是使用整个数据集，从而加速优化过程。这种方法大大提高了计
特征匹配（Feature Match) 是计算机视觉中很多应用的基础，比如说图像配准，摄像机跟踪，三维重建，物体识别，人脸识别。首先通过几张图片来指出什么是特征匹配，以及特征匹配的过程。 图像一：彩色圆圈为图像的特征点 图像二： 图像一与图像二的匹配：概念理解： 什么是特征，什么是特征描述，什么是特征匹配假设这样的一个场景，小白和小黑都在看一个图片，但是他们想知道他们看的是否是同一幅图片，于是他们
自动驾驶是一种自主决策系统，它处理来自不同车载来源的观测流，如照相机、雷达、激光雷达、超声波传感器、GPS装置和/或惯性传感器。这些观察结果被汽车的计算机用来做驾驶决定。1. 传统目标检测与识别的步骤所谓目标检测，就是区分图像或者视频中的目标与其他不感兴趣的部分，不同物体同画面产生了一些明显区分，那么如何让计算机像人类一样做到明确区分呢？这就涉及目标检测，可以说让计算机能够区分出这些，是
各种优化器SGD，AdaGrad，Adam，LBFGS都做了什么？目录各种优化器SGD，AdaGrad，Adam，LBFGS都做了什么？1. SGD：2. SGD+Momentum：3. NAG（Nesterov Accelerated Gradient ）：4. AdaGrad（Adaptive Gradient Algorithm）：5. RMSProp：6. AdaDelta：7. Adam
转载
2021-04-21 13:51:26
2901阅读
2评论
关于SGD、Momentum、RMSprop、Adam的优化器的介绍
翻译
2021-07-17 11:12:16
599阅读
点赞
KNN及SVM人脸识别1 基于KNN的人脸识别1.1 KNN算法描述1.2 改进的WK-NNC实验验证1.3 KNN算法的优势和劣势2 基于SVM的人脸识别2.1 SVM二分类算法描述2.2 SVM多分类算法描述2.3 实验验证2.4 SVM算法的优势和劣势3 KNN算法与SVM算法对比 1 基于KNN的人脸识别1.1 KNN算法描述KNN（K-Nearest Neighbor，K最近邻）算法可以
转载
2024-04-13 08:29:05
83阅读
机器学习实现图像分类 SVM KNN 决策树 朴素贝叶斯重要提示：本文仅仅靠调用python的sklearn中的模型包实现机器学习方法，不喜勿喷代码主要参考并改进完整项目、数据集及使用说明实现效果有两种数据集：数据集1：彩色图片，从人物、美食到风景共十种类别每种100张图片，共十类1000张数据集2：焊接缺项图像集每种缺陷30张，共四类120张 可以使用svm, knn, 朴素贝叶斯，决策树四种机
转载
2024-05-29 20:25:34
98阅读
通过MLP多层感知机神经网络训练模型，使之能够根据sonar的六十个特征成功预测物体是金属还是石头。由于是简单的linearr线性仿射层，所以网络模型的匹配度并不高。 这是我的第一篇随笔，就拿这个来练练手吧（O(∩_∩)O）。 相关文件可到github下载。本案例采用python编写。（Juypte ...
转载
2021-07-25 11:19:00
337阅读
2评论
图像分类与检测是现今计算机视觉处理中最为常见的两项任务，本文尽量综述一下传统的图像分类与检测与现今的图像分类与检测技术。以下是要讲的几个方面：图像分类与检测概述
传统的图像分类与检测方法
现今的图像分类与检测方法1 图像分类与检测概述当我们面对一张图片的时候，最基础的任务就是这张图片是什么，是风景图还是人物图、是描写建筑物的还是关于食物的，这就是分类。分类作为一个较为笼统的目标，还是较为好达成的。
转载
2024-03-26 09:28:09
51阅读
ce
原创
2021-09-13 17:39:02
2453阅读
原作者: 红色石头|梯度下降算法的公式非常简单，”沿着梯度的反方向（坡度最陡）“是我们日常经验得到的，其本质的原因到底是什么呢？为什么局部下降最快的方向就是梯度的负方向呢？也许很多朋友还不太清楚。没关系，接下来我将以通俗的语言来详细解释梯度下降算法公式的数学推导过程。下山问题 假设我们位于黄山的某个山腰处，山势连绵不绝，不知道怎么下山。于是决定走一步算一步，也就是每次沿着当前位置最陡峭最易下山的方
https://mp.weixin.qq.com/s/P24YTLi4hHgR6tNQsKIccA USC提出拟牛顿法深度学习优化器Apollo，效果比肩SGD和Adam CV开发者都爱看的 计算机视觉工坊 1周前 计算机视觉工坊 专注于计算机视觉、VSLAM、目标检测、语义分割、自动驾驶、深度学习 ...
转载
2021-09-22 08:56:00
147阅读
2评论
图像分类和面部识别总览在机器学习中的主要步骤机器学习的训练和测试面部识别 (Face Recognition)人类方法应用面部特征 (本地local和整体holistic)配置信息 (Configure Information)计算机视觉方法面部识别系统早期设计特征脸 (Eigenfaces)主成分分析 PCA特征脸算法特征脸算法 - 检测线性判别分析 (Linear Discriminated
转载
2024-04-09 13:15:48
31阅读
