如愚见指月，观指不观月。目录上节回顾——logistic回归模型和成本函数梯度下降梯度下降法的执行过程计算图logistic模型中的梯度下降算法上节回顾——logistic回归模型和成本函数是在条件下，的概率。。如果想要让我们的模型更加精确的话，就要让尽可能的接近。所以，我们定义了损失函数和成本函数，用于评估与的接近程度，以及模型的准确率。损失函数是对单个样本来说的。成本函数是对整个数据集来说的。
转载
2024-08-21 09:45:56
36阅读
有了前面知识的铺垫，现在来做一个总结，利用随机梯度下降法来实现MNIST数据集的手写识别，关于MNIST的详细介绍，可以参考我的前面两篇文章 MNIST数据集手写数字识别（一），MNIST数据集手写数字识别（二），详细介绍了这个数据集的应用。 &
转载
2023-11-29 14:07:47
82阅读
梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向（因为在该方向上目标函数下降最快，这也是最速下降法名称的由来）。梯度下降法特点：越接近目标值，步长越小，下降速度越慢。直观上来看如下图所示：这里每一个圈代表一个函数梯度，最
转载
2024-04-29 11:58:19
75阅读
点赞
降维方法现实中的许多数据都是稀疏的(sparse)，高维数据处理的时间和空间复杂度都十分大，因此需要对数据进行降维对数据进行降维，会在一定程度上降低数据的精度，同时也会增加机器学习模型处理流程的复杂度。主要的降维方法映射(Projection)现实中的许多数据的特征都是相关的，或者特征为常数，可以利用映射的方法将高维数据映射到低维流行学习(Manifold Learning)流行学习依靠流行假设：
转载
2024-07-15 15:58:12
35阅读
>>> import numpy as np>>> from sklearn.linear_model import SGDClassifier>>> from sklearn.preprocessing import StandardScaler>>> from sklearn.pipeline import m
原创
2022-11-02 09:48:18
56阅读
一：梯度下降：梯度下降本质上是对极小值的无限逼近。先求得梯度，再取其反方向，以定步长在此方向上走一步，下次计算则从此点开始，一步步接近极小值。需要注意的是步长的取值，如果过小，则需要多次迭代，耗费大量时间才能取得极小值;如果过大，则可能难以取得较为接近极小值的点，在极小值两边来回跳跃，无法接近极小值。而步长的取值往往于梯度有关，如果梯度的值较大，则步长可以取大的值，如果梯度较小，则步长应取较小值。
转载
2023-11-02 07:06:09
72阅读
目录数据拆分的sklearn实现一、拆分为训练集与测试集 1.简单交叉验证：数据一分为二，结果具有偶然性 2.S折交叉验证和留一交叉验证二、将拆分与评价合并执行 三、同时使用多个评价指标四、使用交叉验证后的模型进行预测sklearn实现决策树 数据拆分的sklearn实现一、拆分为训练集与测试集训练集：用来训练模型 测试集：用于对最终对学习方法的评估&nbs
1.1.12.随机梯度下降随机梯度下降是拟合简单线性模型中非常有效的方法。当样本的数量（以及特征的数量）
原创
2022-09-11 00:04:38
24阅读
决策树可以分为二叉分类树或者二叉回归树，刚刚我们讲了分类树，现在介绍一下回归树。回归问题是用来处理连续值。提升树采用了前向分布算法，模型如下：公式分析： 算法目标：图中的x，y图表示的就是，曲线上的点就是这个回归树所预测到的残差的预测值，我们最后要的就是预测值接近真实的残差就是去拟合这个残差（Fitted residual），让损失函数（Loss）最小。例子 初始化的10个点： 开始找第一课回归树
转载
2024-09-05 12:56:38
14阅读
1. Gradient Descent（梯度下降）梯度下降算法是很常用的算法，可以将代价函数J最小化。它不仅被用在线性回归上，也被广泛应用于机器学习领域中的众多领域。1.1 线性回归问题应用我们有一个函数J(θ0,θ1)，要使其最小化minJ(θ0,θ01):Outline对θ0,θ1开始进行一些猜测 通常将初θ0,θ1初始化为0在梯度算法中，要做的就是不停的一点点改变θ0和θ1试图通过这种改变使
转载
2024-05-09 16:19:33
63阅读
深度学习难以在大数据领域发挥最大效果的一个原因是，在巨大的数据集基础上进行训练速度很慢。而优化算法能够帮助快速训练模型，大大提高效率。一、batch 梯度下降法batch 梯度下降法（批梯度下降法，我们之前一直使用的梯度下降法）是最常用的梯度下降形式，即同时处理整个训练集。其在更新参数时使用所有的样本来进行更新。对整个训练集进行梯度下降法的时候，我们必须处理整个训练数据集，然后才能进行一步梯度下降
转载
2023-11-20 00:27:59
58阅读
#分类算法
'''
目标值：类别
1.sklearn转换器和预估器
2.KNN算法 -- 少量数据
3.模型选择与调优 --
4.朴素贝叶斯算法 -- 避免0的情况 使用拉普拉斯平滑系数
5.决策树
6.随机森林
3.1 转换器和预估器
转换器
估计器（estimator）
3.1.1 转换器
1.实例化 一个转换器类
2.调用fit_tr
转载
2024-04-22 20:18:25
22阅读
原文链接:http://ihoge.cn/2018/GradientDescent.html最近在看机器学习相关的基础算法原理,意外发现一个大神的分享网页,简洁并且语言精炼,思路很清楚,仔细研究会对算法原理有新的理解,另外还有代码分享,可以手码.引言李航老师在《统计学习方法》中将机器学习的三要素总结为：模型、策略和算法。其大致含义如下：模型：其实就是机器学习训练的过程中所要学习的条...
转载
2021-09-01 16:13:48
1075阅读
线性回归定义：线性回归通过一个或者多个自变量与因变量之间之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合通用公式：其中w,x为矩阵：属性和权重的一种组合来预测结果矩阵也是大多数算法的计算基础矩阵乘法：损失函数(误差大小)y_i为第i个训练样本的真实值h_w (x_i)为第i个训练样本特征值组合预测函数总损失定义：又称最小二乘法如何去求模型当中的W，使得损失最小？（目的是
转载
2024-03-18 13:22:35
82阅读
导语 在上一节中，我们求解了OLS的解析式，但是对于样本数量较多的情况下，矩阵的求解过程计算量非常大，本节讨论的是线性回归中的梯度下降法。梯度下降法x(0)，通过不断迭代，来更新x，使目标函数(线性回归中就是我们的损失函数)取得极小值，直到收敛。下面是一张梯度下降的示意图，对此，我们可以这样理解，当你站在一座山上要下山，那么你环顾四周，寻找当前能下的最
转载
2024-05-09 11:26:07
39阅读
本文阅读预计用时：15分钟主要阐述如何运用Tensorflow2.2进行线性回归处理这个专栏主要对64位mac上的Tensorflow2.2的使用进行探索。在本专栏的第一篇文章中，笔者列举了几个对于Tensorflow使用者而言比较清晰的学习网站，有兴趣的学习者可以去自行探索。不同角度学习Tensorflow的途径还有很多，笔者在此就不一一详述。 引语在本专栏的上篇文章中讲述了
Momentum是对梯度进行修正SGB的缺点：其更新方向完全依赖于当前batch，因而其更新十分不稳定例如：Data数据分成三个批次batch1,batch2,batch3,在使用梯度下降的过程中，batch1可能求得的梯度是5，batch2求得的梯度是-3，batch3求得的梯度是5,那么loss在沿着batch1方向下降后，batch2又会沿着相反的方向回去。这就导致了梯度下降的不稳定性。解决
梯度下降法梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方
转载
2024-04-01 00:18:19
32阅读
简介梯度提升决策树（GBDT）由于准确率高、训练快速等优点，被广泛应用到分类、回归合排序问题中。该算法是一种additive树模型，每棵树学习之前additive树模型的残差。许多研究者相继提出XGBoost、LightGBM等，又进一步提升了GBDT的性能。基本思想提升树-Boosting Tree以决策树为基函数的提升方法称为提升树，其决策树可以是分类树或者回归树。决策树模型可以表示为决策树的
转载
2024-05-07 23:07:35
169阅读
机器学习10：如何理解随机梯度下降1.梯度下降法 理解随机梯度下降，首先要理解梯度下降法。 大多数机器学习或者深度学习算法都涉及某种形式的优化，优化指的是改变 x以最小化或最大化某个函数的任务， 我们通常以最小化 指代大多数最优化问题， 最大化可经由最小化算法最小化-来实现。&n
