降维方法现实中的许多数据都是稀疏的(sparse)，高维数据处理的时间和空间复杂度都十分大，因此需要对数据进行降维对数据进行降维，会在一定程度上降低数据的精度，同时也会增加机器学习模型处理流程的复杂度。主要的降维方法映射(Projection)现实中的许多数据的特征都是相关的，或者特征为常数，可以利用映射的方法将高维数据映射到低维流行学习(Manifold Learning)流行学习依靠流行假设：
转载
2024-07-15 15:58:12
35阅读
如愚见指月，观指不观月。目录上节回顾——logistic回归模型和成本函数梯度下降梯度下降法的执行过程计算图logistic模型中的梯度下降算法上节回顾——logistic回归模型和成本函数是在条件下，的概率。。如果想要让我们的模型更加精确的话，就要让尽可能的接近。所以，我们定义了损失函数和成本函数，用于评估与的接近程度，以及模型的准确率。损失函数是对单个样本来说的。成本函数是对整个数据集来说的。
转载
2024-08-21 09:45:56
36阅读
有了前面知识的铺垫，现在来做一个总结，利用随机梯度下降法来实现MNIST数据集的手写识别，关于MNIST的详细介绍，可以参考我的前面两篇文章 MNIST数据集手写数字识别（一），MNIST数据集手写数字识别（二），详细介绍了这个数据集的应用。 &
转载
2023-11-29 14:07:47
82阅读
梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向（因为在该方向上目标函数下降最快，这也是最速下降法名称的由来）。梯度下降法特点：越接近目标值，步长越小，下降速度越慢。直观上来看如下图所示：这里每一个圈代表一个函数梯度，最
转载
2024-04-29 11:58:19
75阅读
点赞
>>> import numpy as np>>> from sklearn.linear_model import SGDClassifier>>> from sklearn.preprocessing import StandardScaler>>> from sklearn.pipeline import m
原创
2022-11-02 09:48:18
56阅读
一：梯度下降：梯度下降本质上是对极小值的无限逼近。先求得梯度，再取其反方向，以定步长在此方向上走一步，下次计算则从此点开始，一步步接近极小值。需要注意的是步长的取值，如果过小，则需要多次迭代，耗费大量时间才能取得极小值;如果过大，则可能难以取得较为接近极小值的点，在极小值两边来回跳跃，无法接近极小值。而步长的取值往往于梯度有关，如果梯度的值较大，则步长可以取大的值，如果梯度较小，则步长应取较小值。
转载
2023-11-02 07:06:09
72阅读
1.1.12.随机梯度下降随机梯度下降是拟合简单线性模型中非常有效的方法。当样本的数量（以及特征的数量）
原创
2022-09-11 00:04:38
24阅读
目录数据拆分的sklearn实现一、拆分为训练集与测试集 1.简单交叉验证：数据一分为二，结果具有偶然性 2.S折交叉验证和留一交叉验证二、将拆分与评价合并执行 三、同时使用多个评价指标四、使用交叉验证后的模型进行预测sklearn实现决策树 数据拆分的sklearn实现一、拆分为训练集与测试集训练集：用来训练模型 测试集：用于对最终对学习方法的评估&nbs
深度学习难以在大数据领域发挥最大效果的一个原因是，在巨大的数据集基础上进行训练速度很慢。而优化算法能够帮助快速训练模型，大大提高效率。一、batch 梯度下降法batch 梯度下降法（批梯度下降法，我们之前一直使用的梯度下降法）是最常用的梯度下降形式，即同时处理整个训练集。其在更新参数时使用所有的样本来进行更新。对整个训练集进行梯度下降法的时候，我们必须处理整个训练数据集，然后才能进行一步梯度下降
转载
2023-11-20 00:27:59
58阅读
#分类算法
'''
目标值：类别
1.sklearn转换器和预估器
2.KNN算法 -- 少量数据
3.模型选择与调优 --
4.朴素贝叶斯算法 -- 避免0的情况 使用拉普拉斯平滑系数
5.决策树
6.随机森林
3.1 转换器和预估器
转换器
估计器（estimator）
3.1.1 转换器
1.实例化 一个转换器类
2.调用fit_tr
转载
2024-04-22 20:18:25
22阅读
随着深度学习的火热，人们在惊呼其效果之外，对其表现出如此效果的内在原理却知之甚少，为此，本文基于自己在之前课堂上学习到的知识对其内部工作情况做一个较为详细的介绍，考虑到目前主流深度学习还是基于随机梯度下降及BP算法进行网络参数的调整，为此本章将对BP算法进行详细的推导，希望能对刚入门的读者有所帮助，当然读者首先需要对神经网络有一定的了解。 我们首先说一下梯度下降算法，假设我们有一个损失函数： 现在
转载
2024-04-26 15:49:17
84阅读
一、梯度下降法基础定义：梯度下降法不是一个机器学习算法，是一种基于搜索的最优化方法；功能：最优化一个损失函数；梯度上升法：最大化一个效用函数；机器学习中，熟练的使用梯度法（下降法、上升法）求取目标函数的最优解，非常重要；线性回归算法模型的本质就是最小化一个损失函数，求出损失函数的参数的数学解；很多机器学习的模型是无法求出目标函数的参数的最优解；梯度下降法是在机器学习领域中最小化损失函数的最为常用的
转载
2024-08-14 17:08:52
49阅读
原文链接:http://ihoge.cn/2018/GradientDescent.html最近在看机器学习相关的基础算法原理,意外发现一个大神的分享网页,简洁并且语言精炼,思路很清楚,仔细研究会对算法原理有新的理解,另外还有代码分享,可以手码.引言李航老师在《统计学习方法》中将机器学习的三要素总结为：模型、策略和算法。其大致含义如下：模型：其实就是机器学习训练的过程中所要学习的条...
转载
2021-09-01 16:13:48
1075阅读
简述梯度下降法 在机器学习中，梯度下降法是一种常用的优化方法，是解决无约束优化问题最简单、最经典的方法之一。要了解梯度下降法是什么，首先就要了解什么是梯度。1、梯度 在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。设有多元函数： 按照上述定义，则该多元函数的梯度表示为： 该梯度表示的几何意义为：在该点（x,y,z）处函数变化增加最快的地方；
转载
2024-04-28 12:59:33
25阅读
线性回归定义：线性回归通过一个或者多个自变量与因变量之间之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合通用公式：其中w,x为矩阵：属性和权重的一种组合来预测结果矩阵也是大多数算法的计算基础矩阵乘法：损失函数(误差大小)y_i为第i个训练样本的真实值h_w (x_i)为第i个训练样本特征值组合预测函数总损失定义：又称最小二乘法如何去求模型当中的W，使得损失最小？（目的是
转载
2024-03-18 13:22:35
82阅读
梯度下降法梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方
转载
2024-04-01 00:18:19
32阅读
本文阅读预计用时：15分钟主要阐述如何运用Tensorflow2.2进行线性回归处理这个专栏主要对64位mac上的Tensorflow2.2的使用进行探索。在本专栏的第一篇文章中，笔者列举了几个对于Tensorflow使用者而言比较清晰的学习网站，有兴趣的学习者可以去自行探索。不同角度学习Tensorflow的途径还有很多，笔者在此就不一一详述。 引语在本专栏的上篇文章中讲述了
在机器学习中，优化损失函数的算法对于优化损失函数非常重要，它决定了损失函数的收敛速度，是否容易收敛甚至能不能收敛，是否收敛在全局最小处。本文主要总结一种常见的优化 损失函数的算法，即梯度下降法：梯度下降法：梯度下降法是求解无约束最优化问题的一种最常用，最经典的算法，有实现简单的优点。它是一种迭代算法，每一步需要求解的目标函数的梯度向量。其不仅常用于机器学习算法 ，而且也是深度学习常用的优化算法。本
转载
2024-05-21 11:25:41
60阅读
在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。 下面我们以线性回归算法来对三种梯度下降法进行比较。 一般线性回归函数的假设函数为：h θ =∑ n j=0 θ j x j
hθ
机器学习10：如何理解随机梯度下降1.梯度下降法 理解随机梯度下降，首先要理解梯度下降法。 大多数机器学习或者深度学习算法都涉及某种形式的优化，优化指的是改变 x以最小化或最大化某个函数的任务， 我们通常以最小化 指代大多数最优化问题， 最大化可经由最小化算法最小化-来实现。&n
