代码和算例可以到博主github中下载：https://github.com/Airuio/Implementing-the-method-of-gradient-descent-by-using-Python-上一篇讲解了最原始的感知机算法，该算法的目的只为收敛，得到的往往不是基于样本的最佳解，梯度下降法以最小化损失函数为目标，得到的解比原始感知机算法一般更准确。梯度下降法算法原理如下图所示：基
转载
2023-10-14 18:59:23
149阅读
梯度下降法是机器学习算法更新模型参数的常用的方法之一。 【一些基本概念】 梯度 : 表示某一函数在一点处变化率最快的方向向量(可理解为这点的导数/偏导数) 样本 : 实际观测到的数据集，包括输入和输出(本文的样本数量用 m 表述,元素下标 i 表示) 特征 : 样本的输入(本文的特征数量用 n 表示
转载
2018-03-26 09:32:00
369阅读
2评论
提到梯度下降相信大家应该都不会觉得陌生(不陌生你点进来干嘛[捂脸])，本文就梯度下降的基本原理进行讲解，并手把手、肩并肩地带您实现这一算法。1. 原理篇我们用人话而不是大段的数学公式来讲讲梯度下降归是怎么一回事。1.1 什么是梯度？多元函数的各个变量的偏导数以向量的形式写出来，就是梯度。比如函数 ，那么它的梯度 或者 就是 1.2 下降了什么？在机器学习里，我们用梯度下降是用来求解一个损失函数
转载
2024-01-18 21:11:31
35阅读
最早接触梯度下降算法是在学习逻辑回归（Logistic Regression），对于权重的迭代更新。当然运用梯度算法的地方远不止逻辑回归，该方法思路简单但适用范围很广，简单的线性回归（Linear Regression），以及最近在看的神经网络（Neural Network）都有涉及梯度算法，所以掌握该方法还是很有必要的，下面来看看吧。梯度算法适用于求极值的问题，极值包括两种（极大值、极小值），所
转载
2024-07-30 20:49:48
41阅读
梯度下降法概念 梯度下降法是迭代法的一种,其实它不是一种具体的机器学习算法，是一种基于搜索的最优化方法，可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。相
转载
2024-03-29 12:44:01
39阅读
对批量梯度下降法和随机梯度下降法的总结：批量梯度下降---最小化所有训练样本的损失函数，使得最终求解的是全局的最优解，即求解的参数是使得风险函数最小，但是对于大规模样本问题效率低下。随机梯度下降---最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向， 但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近，适用于大规模训练样本情况。 关
转载
2024-05-29 00:52:40
62阅读
Review前面预测宝可梦cp值的例子里，已经初步介绍了Gradient Descent的用法：In step 3, we have to solve the following optimization problem:L : loss function假设是参数的集合：Suppose that has two variables 随机选取一组起始的参数：Randomly start at 计
（一）什么是梯度下降法梯度下降法和之前介绍的k近邻算法和线性回归法不同，梯度下降法不是一个机器学习算法。它既不能解决分类问题也不能解决回归问题，那梯度下降是什么呢？以及它的作用又是什么呢？ 其实，梯度下降法是一种基于搜索的最优化方法。 作用就是最小化一个损失函数，或者最大化一个效用函数，当然最大化一个效用函数就不是梯度下降了，而是梯度上升，但是本质都是一样的。为什么会有梯度下降我们在线性回归中，我
转载
2024-04-04 09:18:29
132阅读
在机器学习算法中，对于很多监督学习模型，需要对原始的模型构建损失函数，接下来便是通过优化算法对损失函数进行优化，以便寻找到最优的参数。在求解机器学习参数的优化算法中，使用较多的是基于梯度下降的优化算法(Gradient Descent, GD)。 梯度下降法（英语：Gradient descent）是一个一阶
转载
2024-05-23 22:43:22
62阅读
梯度下降法梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下降法越接近目标值，步长越小，前进越慢。梯度下降法的搜索迭代示意图如下图所示：梯度下降法的缺点： （1）靠近极小值时收敛速度减慢，如下图所示； （2）直线搜索时可能会产生一些问题； （3）可能会“之字形”地下降。 两者的关系可以这样理解
转载
2024-05-05 09:03:27
130阅读
在求解机器学习算法的模型参数时，很多情况下会用到梯度下降，这里稍微记一下学习笔记。梯度：梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。————百度百科 梯度下降算法本质上就是沿着负梯度方向寻找函数最小值的求解方法梯度下降法是迭代法的一种，以逐渐逼近解为目的求出解的精确值。牛顿方法也是一
转载
2024-03-29 12:10:24
209阅读
梯度下降法的原理假设f(x)是R^n上具有一阶连续偏导数的函数，要求解的无约束最优化问题是 &
转载
2024-05-08 17:55:56
64阅读
题目描述：自定义一个可微并且存在最小值的一元函数，用梯度下降法求其最小值。并绘制出学习率从0.1到0.9（步长0.1）时，达到最小值时所迭代的次数的关系曲线，根据该曲线给出简单的分析。代码：# -*- coding: utf-8 -*-'''遇到问题没人解答？小编创建了一个Python学习交流QQ群：778463939寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！''' import numpy as npimport matplotlib.pyplot as
转载
2021-07-20 14:39:12
959阅读
# Python 随机梯度下降法实现
随机梯度下降法（Stochastic Gradient Descent, SGD）是一种用于优化和训练机器学习模型的常用算法。它通过迭代的方法不断调整模型的参数，以最小化损失函数。该方法的核心思想是，每次仅使用一个样本或小批量样本来更新模型参数，从而提高了计算的效率，尤其对于大规模数据集。
## 随机梯度下降法的基本原理
在传统的梯度下降法中，我们通过计
基于前文关于梯度下降法的理解，用python实现梯度下降求解，不过本文不具有通用性，关于求导缺乏通用性，关于梯度也未考虑很多因素，可以看到学习率很低，则收敛较慢，需要大量时间学习，学习率很高，则收敛很快，但有可能找不到极小值。
原创
2022-04-12 10:46:23
142阅读
一、什么是梯度下降算法梯度下降就是求一个函数的最小值，对应的梯度上升就是求函数最大值，梯度下降法不是机器学习算法，不能用来解决分类或回归问题，而是一种基于搜索的最优化方法，作用是优化目标函数，如求损失函数的最小值。那么为什么我们常常提到“梯度下降”而不是梯度上升“呢？主要原因是在大多数模型中，我们往往需要求函数的最小值。我们得出损失函数，当然是希望损失函数越小越好，这个时候肯定是需要梯度下降算法的
转载
2024-04-22 14:27:43
49阅读
1、梯度下降法的介绍梯度下降法（Gradient descent，简称GD）是一阶最优化算法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点，这个过程则被称为梯度上升法。梯度下降法是迭代法的一种，可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习
转载
2024-05-21 21:27:33
616阅读
一、通过一个例子来看梯度下降法是怎么算的函数,求解其最小值 1.求解梯度函数 2.给定初始点，计算出该点的梯度，开始迭代 3.计算初始点梯度模，判断是否满足终止条件，如果满足，得到终点。如果不满足，求得当前最优的学习率，然后迭代。 function [k ender]=steepest(f,x,e)
% 梯度下降法函数function
转载
2023-09-04 15:42:06
117阅读
梯度下降法和随机梯度下降法 一、总结 一句话总结： 批量梯度下降法（Batch Gradient Descent）：在更新参数时使用所有的样本来进行更新 随机梯度下降法（Stochastic Gradient Descent）：求梯度时没有用所有的m个样本的数据，而是仅仅选取一个样本j来求梯度。 小
转载
2020-07-26 23:02:00
1165阅读
2评论
（学习cs231n的笔记，图片就直接偷懒贴了视频的截图，见谅）
一、最常见的三种梯度下降法：
批量梯度下降（BGD Batch gradient descent）
BGD 采用整个训练集的数据来计算 cost function 对参数的梯度
缺点：就对整个数据集计算梯度，所以计算起来非常慢
随机梯度下降（SGD
