主成分分析（Principal Component Analysis）找到一个轴，使得样本空间的所有点映射到这个轴后，方差最大。数据进
平面变成一条横线。降到特征2：所有点都在Y轴上，二维平面变成一条竖线。对比以上俩者，发现降维.
原创
2023-06-08 14:31:16
99阅读
用梯度上升算法进行Logistic回归$w=w+\nabla{f(w)}$对应代码如下import matplotlib.pyplot as plt
import numpy as np
from sklearn.datasets import make_classification
data_1, labels = make_classification(n_samples=400, n_f
原创
2023-09-05 17:59:42
101阅读
机器学习实战中也详细描述了梯度上升算法，附件里是一些笔记，再贴一个还不错的帖子 转 http://blog.csdn.net/wyb_009/article/details/9205151 这个算法搞得我晚上十点打电话给弟弟，问Ln(x)，1/x的导数公式。很惭愧，大学时被我用的出神入化、化成灰我都能认出的求导公式，我今天居然忘了；这时也要说说西市佳园的移动网络信号，真...
原创
2023-04-21 02:22:53
328阅读
学习教材： 动手学深度学习 PYTORCH 版(DEMO)(https://github.com/ShusenTang/Dive-into-DL-PyTorch)
PDF 制作by [Marcus Yang](https://github.com/chenyang1999) 本文目录：1. 前言2.Tensor的.requires_grad属性3. Tensor 的 detach()函数4. Te
转载
2023-09-12 15:37:37
65阅读
在深度学习中，我们经常需要对函数求梯度（gradient）。PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。本节将介绍如何使用autograd包来进行自动求梯度的有关操作。概念上一节介绍的Tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的所有操作（这样就可以利用链式法则进行梯度传播
转载
2023-08-10 15:00:02
449阅读
神经网络通常依赖反向传播求梯度来更新网络参数，求梯度过程通常是一件非常复杂而容易出错的事情。而深度学习框架可以帮助我们自动地完成这种求梯度运算。 Pytorch一般通过反向传播 backward 方法 实现这种求梯度计算。该方法求得的梯度将存在对应自变量张量的grad属性下。 除此之外，也能够调用torch.autograd.grad 函数来实现求梯度计算。这就是Pytorch的自动微分机制。一、
一、概念如果将Tensor的属性.requires_grad属性设置为True，它将开始追踪在其上的所有操作（主要目的是利用链式法则进行梯度传播）。完成计算后，可以调用.backward()方法来完成所有梯度计算。此Tensor的梯度将累计到.grad属性中。注意在y.backward()时，如果y是标量，则不需要为backward()传入任何参数；否则，需要传入一个与y同形的Tensor。这为了
梯度的上升与下降一、什么是梯度先理解下什么是梯度，用通俗的话来说就是在原变量的基础上每次迭代增加一定的量，比较各个变量下目标函数的大小。 例如有一个目标函数 y = 2χ2 ,那么求目标函数的最小值，我们先给x赋一个值-5，然后每次给x加一个值（有正负方向的值），这样y每次都会有一个值，当值减小幅度达到一定精确度时停止，这是的x就是我们求的最优解。梯度算法的思想对理解机器学习是非常的重要的，比如说
对函数求梯度（gradient）。PyTorch提供的autograd 包能够根据输⼊和前向传播过程自动构建计算图，并执⾏行反向传播。 Tensor 是这个包的核心类，如果将其属性 .requires_grad 设置为 True ，它将开始追 踪(track)在其上的所有操作（这样就可以利利⽤用链式法则进⾏行行梯度传播了了）。完成计算后，可以调 ⽤用 .backward() 来完成所有梯
转载
2023-09-06 12:38:08
86阅读
1 工作原理Momentum(动量，冲量)：结合当前梯度与上一次更新信息，用于当前更新。动量梯度下降法是计算梯度的指数加权平均数，并利用该数值来更新参数值。 指数加权平均： 与原始的梯度下降相比，动量的梯度下降趋势
Python机器学习实战_Logistic-Regression(随机梯度上升)上次写到了梯度上升，这次接着看下所谓的随机梯度上升。随机梯度上升与梯度上升相比，前者是按照每个样本的梯度进行迭代的， 而后者是按照每次迭代的梯度计算的 所以，如果后者是迭代500次的话，相当于比前者多了500倍的运算量.不废话了，直接上代码.#定义随机梯度上升的函数
def stocGradAscent0(data
1、基础知识:与numpy中的基本操作相似， pytorch 的作用是引入GPU加快运算， 增加图形界面， 适合大数据运算， 尤其是deep learninggradient 梯度类似于求导， 找到梯度下降的最佳路径。tensor 除了可以进行线性代数运算， 还可以求梯度 tensor在pytorch里面是一个n维数组。我们可以通过指定参数reu
第五章讲的是Logistic 回归，作者提出了梯度上升算法，本文是对该算法的一个通俗易懂的解释，不需要任何梯度的知识就能理解，造福广大初学者。简单描述问题给定一个样本集，每个样本点有两个维度值（X1，X2）和一个类别值，类别只有两类，我们以0和1代表。数据如下所示：样本X1X2类别1-1.44.712-2.56.90............机器学习的任务是找一个函数，给定一个数据两个维度的值，该
目录梯度激活函数2D函数的最优化多分类问题梯度梯度的本意是一个向量（矢量）， 表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。影响梯度的因素：initialization status（初始状态） learning rate（学习率）momentom（动量）激活函数神经网络中的每个神经元节点接受上一层神经元的输出值作
集成应用开发出一种可以生成大量近似独立的模型的方法，然后把他集成起来。也就是集成方法由两层算法组成的层次架构。底层的算法叫做基学习器（basic learner）即单个机器学习算法，上层算法对基学习器处理，使其模型相对近似独立。常用的上层算法有：投票bagging、提升boosting、随机森林random forest。常用的基学习器有：二元决策树、支持向量机等。这里主要讲的是基于二元决策树的梯
转载
2023-07-11 10:47:31
40阅读
1.1深度学习的发展史深度学习的本质是一个前馈神经网络梯度消失和梯度爆炸：在反向传播过程中需要对激活函数进行求导，如果导数大于1，那么随着网络层数的增加梯度更新将会朝着指数爆炸的方式增加这就是梯度爆炸。同样如果导数小于1，那么随着网络层数的增加梯度更新信息会朝着指数衰减的方式减少这就是梯度消失。因此，梯度消失、爆炸，其根本原因在于反向传播训练法则，属于先天不足。(8条消息) 梯度消失与梯度爆炸产生
1 # Author Qian Chenglong
2
3 from numpy import *
4 from numpy.ma import arange
5
6
7 def loadDataSet():
8 dataMat = []
9 labelMat = []
10 fr = open('testSet.txt')
转载
2018-07-28 21:43:00
158阅读
2评论
什么是梯度上升？梯度上升是一种用于最大化给定奖励函数的算法。描述梯度上升的常用方法使用以下场景：假设您被蒙住眼睛并被放置在山上的某个地方。然后，你的任务是找到山的最高点。在这种情况下，您尝试最大化的“奖励函数”是您的提升。找到此最大值的一种简单方法是观察您所站立区域的坡度，然后向上移动。一步一步地遵循这些指示最终将您带到顶部！在上山时，重要的是我们知道该地区的坡度或坡度，这样我们才能知道要朝哪个方
转载
2023-06-12 16:37:05
51阅读
