目录一、神经网络基本骨架搭建nn.modulenn.Module的使用二、神经网络中一些神经结构的使用1. Convolution Layers 卷积层（1） 卷积操作示例（2） 用代码验证上述卷积操作的正确性（使用F.conv2d）（3） 卷积层nn.Conv2d的使用（4） 理解卷积层nn.Conv2d的各个参数（5） torch.nn.conv2d和torch.nn.functional.
转载
2023-08-31 09:35:00
96阅读
神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题， 解决这个问题的过程称为最优化 （optimization）而由于参数空间复杂,无法轻易找到最优解1随机梯度下降法 （stochastic gradient descent）,简称SGD :分步走, 朝着当前所在位置的坡度(梯度)最大的方向前进，就是SGD的策略缺点是 有些情况SGD低效，原因是梯度的方向并没有指向最小
转载
2024-04-22 21:30:38
34阅读
sigmod函数通常作为激活函数sigmod函数 导数 sigmod函数作用这个看了很久一直不明白，但是多看几次总没错，因为在看了n次之后的现在我明白了。 简单的理解就是：将输入的值收敛起来(光滑和约束)。 如果是发散的，那就没有规律了 让一些没有规律的数字展现出规律来， 而函数的作用就是将输入转为另外一种输入，将问题转为另一个问题 这就是我的理解，暂时也不知道对不对，有新的理解了再来更
转载
2023-10-18 07:45:12
79阅读
1.其他的神经网络学习算法1.1介绍 梯度下降算法并不是神经网络的唯一算法，还有其他算法，我们喜欢称他们为优化器（Optimizer），优化器就是优化网络的机器，主要有以下几种。1.2SGD优化器： SGD优化器全称为随机梯度下降算法，可以简单的理解为梯度下降算法的改进版本。它的基本思想是，每次进行梯度下降时，不是更新全部的样本()，只是随机挑选部分进行更新，这样可以有效的在样本较多的时候减少计算
转载
2023-09-09 07:58:05
156阅读
前言我们都知道，神经网络的学习目的是找到使损失函数的值尽可能小的参数，这是一个寻找最优参数的问题，解决这个问题的过程可以称为最优化，但由于参数空间非常复杂，无法轻易找到最优解，而且在深度学习中，参数的数量非常大，导致最优化问题更加复杂。在这之前，我们是将参数的梯度（导数）作为线索，使参数沿着梯度方向更新，并重复执行多次，从而逐渐靠近最优参数，这个过程称为随机梯度下降法（SGD）
反向传播中提到了偏
转载
2023-09-15 14:45:02
545阅读
摘要本文概述了常见的梯度下降优化算法的不同变种，分析了初始化在优化过程中的重要性以及如何初始化，最后列举出不同优化算法的具体公式，计算过程。优化概述下面概述一下常见的优化算法，优化算法的核心是梯度下降，不同优化算法改进的地方在于梯度的方向和大小。可以将优化算法粗分为两大类，一类是改变方向的 Momentum，一类是改变学习率即梯度大小的 adagrad，最常用的 Adam 结合了这两类的优点。SG
转载
2024-01-09 16:12:32
55阅读
5.1 参数的更新**最优化（optimization）：**神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化（optimization）。 为了找到最优参数，我们将参数的梯度（导数）作为了线索。 **随机梯度下降法（stochastic gradient descent）：**使用参数的梯度，沿梯度方向更新参数，并重复这个步骤多次，从而
转载
2023-08-08 07:54:44
111阅读
神经网络基础知识及模型优化（一）前言一、神经网络参数更新及其方法1.参数更新2.SGD3.Momentum4. AdaGrad5.Adam6.该使用哪种参数更新方法二、权重的初始化1.可以将权重初始值设置为0吗2.隐藏层的激活值的分布3.ReLU函数的权重初始化三、Batch Normalization1.Batch Normalization的算法2.Batch Normalization的评
转载
2023-09-11 23:19:40
73阅读
神经网络核心任务：找出最佳W一、梯度下降法优化权重数组W 在神经网络的训练中主要是寻找针对损失函数（loss）最小的参数值W的值（有时候称为权重数组weight vector）。关于权重数组的优化有很多种方式。 1）尝试 
转载
2024-03-07 21:29:12
78阅读
在神经网络的学习中，其中一个重要目的就是找到使损失函数的值尽可能小的参数，为了找到这个最优参数，我们使用梯度（导数）作为线索，沿着梯度方向来更新参数，并重复这个步骤，从而逐渐靠近最优参数，这个过程叫做随机梯度下降法（SGD,Stochastic Gradient Descent），有兴趣的可以参阅下面我以前写的关于SGD的文章 &n
转载
2024-01-24 23:29:02
90阅读
目录前言1SGD1.1 参数的更新1.2 SGD 的缺点2Momentum3AdaGrad4 Adam5我们如何选取方法6 设置权重初始值6.1我们可以将权重初始值设置为0吗？6.2 隐藏层的激活值的分布6.3 ReLU 的权重初始参数小结：6.4 Batch Normalization6.4.1 Batch Normalization算法6.4.2 Batch Norm 的评估6.5 正则化6
转载
2023-09-29 19:31:05
65阅读
SGD神经网络以及python中实现1、SGD（stochastic gradient descend）：<1>数据抽取；<2>计算梯度;<3>参数更新；<4>循环2、三层SGD网络组件：隐藏层（1），隐藏层（2），输出层，损失函数2.1隐藏层： <1>激活函数/激励函数:sigmoid函数和RELU函数 def sigmoid():
转载
2023-05-18 11:23:57
100阅读
神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化（optimization）。遗憾的是，神经网络的最优化问题非常难。这是因为参数空间非常复杂，无法轻易找到最优解（无法使用那种通过解数学式一下子就求得最小值的方法）。而且，在深度神经网络中，参数的数量非常庞大，导致最优化问题更加复杂。1.SGD:公式如下：更新的权重参数记为W，η表示学习率，
转载
2023-07-26 22:48:25
79阅读
文章目录前言一、问题描述二、官方代码三、代码讲解1.参数初始化2.torch.nn2.1torch.nn.Relu和torch.nn.Linear2.2 神经网络参数的初始化3 Sequential4.nn中的损失函数5. 梯度清零6. 参数更新总结 前言 本系列主要是对pytorch基础知识学习的一个记录，尽量保持博客的更新进度和自己的学习进度。一、问题描述 此次需要构建的神经网络其实和前
转载
2023-09-06 17:57:23
62阅读
在pytoch中使用torch.nn命名空间提供了你需要建立自己的神经网络的基石。在PyTorch每个模块的子类nn.Module。神经网络是一个模块本身，由其他模块（层）组成。导入你所需要的模块假设构建一个网络模型如下：卷积层--》Relu层--》池化层--》全连接层--》Relu层--》全连接层
import os
import torch
from torch import nn
fro
转载
2023-10-09 00:01:04
159阅读
目录1.写在前面2.建立数据集3.建立神经网络4.训练网络5.可视化训练过程1.写在前面 上篇博客我们详细介绍了PyTorch在解决回归问题上，主要的解决方法步骤。在日常任务中，除了回归任务，另外一个比较常见的就是分类的任务。这次我们也是用最简单的途径来看看神经网络是怎么进行事物的分类。2.建立数据集 &
转载
2023-12-07 03:28:42
49阅读
小白一枚最近接触了pytorch框架，细读了pytorch之实战计算机视觉，唐进民一书，这里做个笔记，希望能好好学习一下这个框架。1.手动计算梯度 一个batch（批次）的数据从输入到输出的完整过程是：先输入100个具有1000个特征的数据x，经过隐藏层后变成了100个具有100个特征的数据，再经过输出层输出100个具有10个分类结果值的数据y，在得到结果后计算损失并反向传播，这样就完成了一次训
转载
2023-08-19 17:42:20
157阅读
点赞
卷积神经网络中所有的层结构都可以通过 nn这个包调用。1.卷积层nn.Conv2d（）卷积在 pytorch 中有两种方式，一种是torch.nn.Conv2d()，一种是 torch.nn.functional.conv2d()，这两种形式本质都是使用一个卷积操作。 这两种形式的卷积对于输入的要求都是一样的，首先需要输入是一个 torch.autograd.Variable() 的类型，大小是
转载
2023-08-01 17:14:59
102阅读
文章目录前言一、使用numpy完成神经网络二、使用tensor完成神经网络三、pytorch的自动求导四、补充说明总结 前言 本系列主要是对pytorch基础知识学习的一个记录，尽量保持博客的更新进度和自己的学习进度。本人也处于学习阶段，博客中涉及到的知识可能存在某些问题，希望大家批评指正。另外，本博客中的有些内容基于吴恩达老师深度学习课程，我会尽量说明一下，但不敢保证全面。一、使用numpy
转载
2023-09-26 05:32:13
130阅读
两类数据点。均值为2，方差为1正态分布100个随机点。标记为蓝色。均值为-2，方差为1正太分布100个随机点，标记为黄色。数据集制作如下利用神经网络网络进行分类结果如下 ： 代码如下 pytorch1.6+python3.6import torch
from torch.autograd import Variable
import torch.nn.functional as F
import
转载
2024-04-02 14:59:05
41阅读
