我们一同学习了损失函数的概念以及一些常用的损失函数。你还记得我们当时说的么：模型有了损失函数，才能够进行学习。那么问题来了，模型是如何通过损失函数进行学习的呢？在接下来，我们将会学习前馈网络、导数与链式法则、反向传播、优化方法等内容，掌握了这些内容，我们就可以将模型学习的过程串起来作为一个整体，彻底搞清楚怎样通过损失函数训练模型。下面我们先来看看最简单的前馈网络。前馈网络前馈网络，也称为前馈神经网
转载
2023-11-15 16:28:26
53阅读
先构造一个如下图所示的简单神经网络图中的直线均表示从左到右的箭头。我们的目标是求字典型变量grads，grads['W']表示损失函数关于权重W的梯度，grads['b']表示损失函数关于偏置b的梯度。如下图所示我们构造一个神经网络类simpleNet来实现求梯度的的目标，代码如下所示import sys,os
sys.path.append(os.pardir)
import numpy as
转载
2024-04-20 18:41:05
211阅读
简单的花一点时间总结一下梯度的计算情况。要尽量少花一点的时间来总结基础知识，多去写写代码，调一下bug，再不调连debug都忘了。什么是梯度下降法？什么又是梯度？只看概念的话记不住，主要是理解。梯度：高数的知识，是个向量，每点只有一个梯度。=梯度的方向：与这个函数在该点增长最快的方向一致。梯度的大小：|梯度|=max(方向导数)，具体概念都是高数的知识。上式要一阶可导。梯度下降法：求损失函数最小值
转载
2023-09-04 11:23:11
125阅读
本文是Andrew Ng在Coursera的机器学习课程的笔记。整体步骤确定网络模型初始化权重参数对于每个样例，执行以下步骤直到收敛计算模型输出：forward propagation计算代价函数：比较模型输出与真实输出的差距更新权重参数：back propagation确定网络模型神经网络模型由输入层（layer 1）、中间层（layer 2,..,L-1）、输出层（layer L）三部分组成。
转载
2024-03-12 19:47:41
73阅读
4.3 自动梯度计算和预定义算子 虽然我们能够通过模块化的方式比较好地对神经网络进行组装，但是每个模块的梯度计算过程仍然十分繁琐且容易出错。在深度学习框架中，已经封装了自动梯度计算的功能，我们只需要聚焦模型架构，不再需要耗费精力进行计算梯度。 飞桨提供了paddle.nn.Layer类，来方便快速的实现自己的层和模型。模型和层都可以基于paddle.nn.Layer扩充实现，模型只是一种特殊的层。
转载
2023-11-12 12:02:19
69阅读
一、自动梯度计算和预定义算子虽然我们能够通过模块化的方式比较好地对神经网络进行组装，但是每个模块的梯度计算过程仍然十分繁琐且容易出错。在深度学习框架中，已经封装了自动梯度计算的功能，我们只需要聚焦模型架构，不再需要耗费精力进行计算梯度。1. 利用预定义算子重新实现前馈神经网络1.1使用torch的预定义算子来重新实现二分类任务。主要使用到的预定义算子为torch.nn.Linear：cl
转载
2023-09-29 13:30:26
8阅读
什么是梯度消失?如何加快梯度下降的速度累乘中一个梯度小于1，那么不断累乘，这个值会越来越小，梯度衰减很大，迅速接近0。在神经网络中是离输出层近的参数，梯度越大，远的参数，梯度越接近0。根本原因是sigmoid函数的缺陷。方法：1、好的初始化方法，逐层预训练，后向传播微调。2、换激活函数，用relu，leaky——relu。靠的是使梯度靠近1或等于1，避免了在累乘过程中，结果迅速衰减。避免梯度消失和
转载
2023-09-26 19:46:44
10阅读
计算机实现参数的自动梯度计算，方法可分为以下三类- 数值微分
- ∆x难以确定，太小会引起舍入误差，太大则增加截断误差，虽然实现非常简单，但实用性较差，计算复杂性高，因为需要为每个参数单独施加扰动，若参数数量为N ，则复杂度为 O(N^2)
- 符号微分
- 一种基于符号计算(代数计算)的自动求导方法，用计算机来求解带变量的数学表达式，变量被看作符号，不需要代入具体的值，输入和输出都是数学表达
转载
2023-08-28 12:54:34
90阅读
上一章中我们学习了神经网络怎么通过梯度下降算法学习权重和偏移的。但是我们的讨论中缺了一块：我们没有讨论如何去计算损失函数的梯度。本章中，我将介绍一个计算梯度的快速算法：逆向传播算法(backpropagation)。BP算法在1970年代首次被提出，但是直到David Rumelhart, Geoffrey Hinton, 和Ronald Williams 1986年的一篇论文，人们才意识到它的重
转载
2024-01-16 21:00:34
68阅读
一、概念神经网络是已知自变量x和真实结果y，要求拟合出F(x)。 神经网络的架构可以看做是黑箱测试，但你不知道黑箱指代的F(x)到底是什么，不过没关系，我们知道其中的参数（是随机初始化的），即神经元之间做连接的那些个边指代的权值。一个神经网络的参数是非常庞大的，自变量一般是非常多个，以至于参数也是有很多，且神经网络一般会有很多个隐藏层，所以一个神经网络是一个多元复合函数。我们向黑箱中输入你的自变量
转载
2023-09-05 10:32:33
78阅读
1垂直边缘检测器图1.1实现上图的卷积运算：python 中使用函数conv_forward在tensorflow中使用函数tf.nn.conv2d在keras框架中使用函数Conv2D其实这个就是数字图像处理里图像分割里面的梯度算子。要得到一幅图像的梯度，要求在图像的每个像素处计算偏导数和。我们处理的是数字量，因此要求关于一点的领域上的偏导数的数字近似。（1.1-1） (
转载
2023-12-27 19:57:56
141阅读
1. 卷积层（Convolutional Layer）卷积层，也可以称之为特征提取层，是CNNs最重要的部分。卷积层需要训练的参数是一系列的过滤器（我更喜欢卷积核这个词），这些过滤器的大小一致，通常都是正方形。假设我们有n个过滤器，每个过滤器的大小为kxk（k通常取3或5），那么这一层我们需要训练的参数就有nxkxk+n/c个（这里的c表示通道数，如果是灰度图像c=1，如果是彩色图像c=3）。权值
转载
2023-11-14 06:46:31
104阅读
前言反向传播计算梯度， 表示模型的参数。 是使用正向传播和损失函数来计算的。 计算公式如下：因为向前传播相对容易实现，所以比较容易获得正确的结果，确定要计算成本 正确。因此，可以通过计算 验证计算 。 一维梯度检查一维线性函数。该模型只包含一个实值参数，并采取x作为输入。 这里写图片描述 &
转载
2023-07-04 13:06:31
286阅读
我的学习方法是：总-分-总，先总体了解卷积神经网络的算法思想和相关知识点，这一步通过重复学习也了解了大概，再对那些模模糊糊了解一些的，甚至是根本不理解的知识点一个一个解决掉，比如神经网络是什么？卷积是什么？神经网络里为什么用到卷积？什么是梯度？损失函数是如何设计的？以及如何理解最小二乘法和极大似然估计法、信息量的定义……最后再回头从总体上来理解
转载
2024-02-19 11:17:33
89阅读
什么是梯度消失？定义：梯度消失 （Vanishing Gradients） 在梯度下降中， 随着算法反向的反馈， 梯度会越来越小，最终没有变化，此时并没有收敛到比好的解，这就是梯度消失的问题。梯度爆炸 梯度爆炸原理跟梯度消失一样，反向传播时，导数大于1，导致梯度增加。解释：梯度消失，好比你在往下走楼梯，楼梯的梯度很小，你感觉不到在下楼......放在ml里面，就是在梯度下降公式里wi =
转载
2024-01-06 20:33:00
81阅读
# 单层神经网络梯度计算
---
## 概述
在机器学习中，神经网络是一种广泛应用的模型。在神经网络中，梯度计算是非常重要的一步，通过计算梯度可以更新神经网络的参数，从而使得神经网络能够更好地逼近目标函数。本文将介绍如何实现单层神经网络的梯度计算，帮助初学者快速掌握这一技巧。
## 整体流程
下面是实现单层神经网络梯度计算的整体流程，我们可以用一个表格展示步骤。
| 步骤 | 描述 |
|
原创
2023-08-27 12:04:11
156阅读
神经网络中出现的梯度问题：关于梯度问题我们首先要明白梯度会出现什么样的情况，然后才能根据这些情况去解决遇到的问题，话不多说现在开始常见的梯度问题是什么？一般就是两种：梯度弥散和梯度爆炸问题描述：1、梯度弥散：现象：刚开始损失下降较快，后面损失直接不变了2、梯度爆炸：现象：刚开始梯度迅速下降，后快速反弹增大原因分析：一、造成梯度弥散的原因 1、激活函数饱和 2、样本中的奇异样本引起模型无法收敛（奇异
转载
2023-08-10 16:32:23
27阅读
机器学习-深度学习篇深度学习及其参数更新时梯度的求解1. 神经网络1.1 神经元模型1.2 感知机与多层网络2. 反向传播2.1 误差逆传播算法-BP2.2 向前传播与向后传播参考 深度学习及其参数更新时梯度的求解1. 神经网络机器学习中提到的神经网络是指神经网络学习，是机器学习与神经网络这两个学科领域的交叉部分。神经网络的定义有很多种，这里说下自己的理解：神经网络是基于大量简单模型“连接”搭建
转载
2023-10-16 10:16:13
87阅读
当我们训练一个神经网络模型的时候，一般来说会构建一个目标函数，构建一个网络，设置好超参数： 比如学习率，batch size 的大小，迭代次数，weight decay 的比重等等，然后利用 back propagation 开始训练，随着 loss 慢慢减小，收敛到某个最小值，模型训练结束。一般目标函数都是非凸函数，这意味着函数的全局最小值很难找到，目前所采用的优化方法，都只能寻找目标函数的局部
转载
2023-09-05 12:58:30
136阅读
之前刚开始学神经网络的时候的一些笔记。最近发现一个综述性论文不错： 《Recent Advances in Convolutional Neural Networks》梯度下降：导出的梯度方向是函数值增大的方向，因此最小值应该减去梯度，也就是向梯度的反方向走 （1）批量梯度下降BGD 全部m个样本总体的平均来更新参数。训练慢，但参数容易得到最优。样本数据集小的时候用 （2）随机梯度下降SGD m个
转载
2023-10-29 09:06:35
65阅读
