有了前面知识的铺垫，现在来做一个总结，利用随机梯度下降法来实现MNIST数据集的手写识别，关于MNIST的详细介绍，可以参考我的前面两篇文章 MNIST数据集手写数字识别（一），MNIST数据集手写数字识别（二），详细介绍了这个数据集的应用。 &
转载
2023-11-29 14:07:47
82阅读
梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向（因为在该方向上目标函数下降最快，这也是最速下降法名称的由来）。梯度下降法特点：越接近目标值，步长越小，下降速度越慢。直观上来看如下图所示：这里每一个圈代表一个函数梯度，最
转载
2024-04-29 11:58:19
75阅读
点赞
如愚见指月，观指不观月。目录上节回顾——logistic回归模型和成本函数梯度下降梯度下降法的执行过程计算图logistic模型中的梯度下降算法上节回顾——logistic回归模型和成本函数是在条件下，的概率。。如果想要让我们的模型更加精确的话，就要让尽可能的接近。所以，我们定义了损失函数和成本函数，用于评估与的接近程度，以及模型的准确率。损失函数是对单个样本来说的。成本函数是对整个数据集来说的。
转载
2024-08-21 09:45:56
36阅读
一：梯度下降：梯度下降本质上是对极小值的无限逼近。先求得梯度，再取其反方向，以定步长在此方向上走一步，下次计算则从此点开始，一步步接近极小值。需要注意的是步长的取值，如果过小，则需要多次迭代，耗费大量时间才能取得极小值;如果过大，则可能难以取得较为接近极小值的点，在极小值两边来回跳跃，无法接近极小值。而步长的取值往往于梯度有关，如果梯度的值较大，则步长可以取大的值，如果梯度较小，则步长应取较小值。
转载
2023-11-02 07:06:09
68阅读
>>> import numpy as np>>> from sklearn.linear_model import SGDClassifier>>> from sklearn.preprocessing import StandardScaler>>> from sklearn.pipeline import m
原创
2022-11-02 09:48:18
56阅读
降维方法现实中的许多数据都是稀疏的(sparse)，高维数据处理的时间和空间复杂度都十分大，因此需要对数据进行降维对数据进行降维，会在一定程度上降低数据的精度，同时也会增加机器学习模型处理流程的复杂度。主要的降维方法映射(Projection)现实中的许多数据的特征都是相关的，或者特征为常数，可以利用映射的方法将高维数据映射到低维流行学习(Manifold Learning)流行学习依靠流行假设：
转载
2024-07-15 15:58:12
35阅读
1.1.12.随机梯度下降随机梯度下降是拟合简单线性模型中非常有效的方法。当样本的数量（以及特征的数量）
原创
2022-09-11 00:04:38
24阅读
目录数据拆分的sklearn实现一、拆分为训练集与测试集 1.简单交叉验证：数据一分为二，结果具有偶然性 2.S折交叉验证和留一交叉验证二、将拆分与评价合并执行 三、同时使用多个评价指标四、使用交叉验证后的模型进行预测sklearn实现决策树 数据拆分的sklearn实现一、拆分为训练集与测试集训练集：用来训练模型 测试集：用于对最终对学习方法的评估&nbs
深度学习难以在大数据领域发挥最大效果的一个原因是，在巨大的数据集基础上进行训练速度很慢。而优化算法能够帮助快速训练模型，大大提高效率。一、batch 梯度下降法batch 梯度下降法（批梯度下降法，我们之前一直使用的梯度下降法）是最常用的梯度下降形式，即同时处理整个训练集。其在更新参数时使用所有的样本来进行更新。对整个训练集进行梯度下降法的时候，我们必须处理整个训练数据集，然后才能进行一步梯度下降
转载
2023-11-20 00:27:59
58阅读
全栈工程师开发手册 （作者：栾鹏）python数据挖掘系列教程随机梯度下降(SGD) 是一种简单但又非常高效的方法，主要用于凸损失函数下线性分类器的判别式学习，例如(线性) 支持向量机 和 Logistic 回归 。Stochastic Gradient Descent （随机梯度下降法）的优势:高效。易于实现 (有大量优化代码的机会)。Stochastic Gradient Descen
原创
2022-03-27 16:44:42
413阅读
#分类算法
'''
目标值：类别
1.sklearn转换器和预估器
2.KNN算法 -- 少量数据
3.模型选择与调优 --
4.朴素贝叶斯算法 -- 避免0的情况 使用拉普拉斯平滑系数
5.决策树
6.随机森林
3.1 转换器和预估器
转换器
估计器（estimator）
3.1.1 转换器
1.实例化 一个转换器类
2.调用fit_tr
转载
2024-04-22 20:18:25
22阅读
算法介绍：梯度下降算法是一种利用一次导数信息求取目标函数极值的方法，也是目前应用最为广泛的局部优化算法之一。其具有实现简单、容易迁移、收敛速度较快的特征。在求解过程中，从预设的种子点开始，根据梯度信息逐步迭代更新，使得种子点逐渐向目标函数的极小值点移动，最终到达目标函数的极小值点。注意，沿梯度正向移动，将获取目标函数局部极大值（梯度上升算法）；沿梯度反向移动，将获取目标函数局部极小值（梯度下降算法
转载
2023-06-21 22:27:41
75阅读
上一篇我们实现了使用梯度下降法的自适应线性神经元，这个方法会使用所有的训练样本来对权重向量进行更新，也可以称之为批量梯度下降（batch gradient descent）。假设现在我们数据集中拥有大量的样本，比如百万条样本，那么如果我们现在使用批量梯度下降来训练模型，每更新一次权重向量，我们都要使用百万条样本，训练时间很长，效率很低，我们能不能找到一种方法，既能使用梯度下降法，但是又不要每次更新
转载
2023-07-06 13:44:59
167阅读
在学习线性回归的时候很多课程都会讲到用梯度下降法求解参数，对于梯度下降算法怎么求出这个解讲的较少，自己实现一遍算法比较有助于理解算法，也能注意到比较细节的东西。具体的数学推导可以参照这一篇博客一、 首
转载
2023-10-07 14:26:07
102阅读
梯度下降法及其Python实现基本介绍梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向。梯度下降法特点：越接近目标值，步长越小，下降速度越慢。下面将通过公式来说明梯度下降法。建立模型为拟合函数h(θ) :接下来的目标是将
转载
2023-10-31 22:34:52
85阅读
原文链接:http://ihoge.cn/2018/GradientDescent.html最近在看机器学习相关的基础算法原理,意外发现一个大神的分享网页,简洁并且语言精炼,思路很清楚,仔细研究会对算法原理有新的理解,另外还有代码分享,可以手码.引言李航老师在《统计学习方法》中将机器学习的三要素总结为：模型、策略和算法。其大致含义如下：模型：其实就是机器学习训练的过程中所要学习的条...
转载
2021-09-01 16:13:48
1075阅读
线性回归定义：线性回归通过一个或者多个自变量与因变量之间之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合通用公式：其中w,x为矩阵：属性和权重的一种组合来预测结果矩阵也是大多数算法的计算基础矩阵乘法：损失函数(误差大小)y_i为第i个训练样本的真实值h_w (x_i)为第i个训练样本特征值组合预测函数总损失定义：又称最小二乘法如何去求模型当中的W，使得损失最小？（目的是
转载
2024-03-18 13:22:35
82阅读
梯度下降法梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方
转载
2024-04-01 00:18:19
32阅读
本文阅读预计用时：15分钟主要阐述如何运用Tensorflow2.2进行线性回归处理这个专栏主要对64位mac上的Tensorflow2.2的使用进行探索。在本专栏的第一篇文章中，笔者列举了几个对于Tensorflow使用者而言比较清晰的学习网站，有兴趣的学习者可以去自行探索。不同角度学习Tensorflow的途径还有很多，笔者在此就不一一详述。 引语在本专栏的上篇文章中讲述了
自己yy了一个十分不靠谱的使用线性回归的梯度下降法来拟合数据，预测函数只用了二项式，所以不会出现过拟合的情况。用python实现：1 import numpy as np
2 import math
3
4 m = int(input())//输入数据组数，用[xi,yi]表示第i组数据
5
6 data = np.empty((m,3))用来存放1，xi,xi*xi,来进行矩阵乘法
转载
2020-03-27 22:23:00
127阅读
