学习笔记|Pytorch使用教程36本学习笔记主要摘自“深度之眼”，做一个总结，方便查阅。 使用Pytorch版本为1.2循环神经网络(RNN) 是什么?RNN如处理成不定长输入?训练RNN实现人名分类总结一.循环神经网络(RNN) 是什么?RNN :循环神经网络处理不定长输入的模型常用于NLP及时间序列任务(输入 数据具有前后关系)网络结构 xt:时刻t的输入，shape = (1, 57) s
转载
2024-02-10 01:48:37
58阅读
文章目录1. 全连接层2. SoftMax算法 1. 全连接层全连接层，指的是每一个结点都与上一层的所有结点相连，用来把前面几层提取到的特征综合起来。举个例子，前面通过卷积和池化层提取出来的特征有眼睛鼻子和嘴巴，那我们能单独通过这三个特征来判断出这是一只猫吗？显然不能，因为拥有眼睛鼻子嘴巴这三个特征的动物太多了吧，所以我们需要对这三个特征进行特征融合，从而最终判断出这个东东是一只猫猫而不是修狗。
转载
2024-04-19 13:01:20
68阅读
框架优点缺点TensorFlow- 由Google开发和维护，社区庞大，学习资源丰富- 具备优秀的性能表现，支持大规模分布式计算- 支持多种编程语言接口，易于使用- 提供了可视化工具TensorBoard，可用于调试和可视化模型- 底层架构复杂，操作较为繁琐- 不支持动态图，调试和修改模型较为困难- 对于一些高级算法实现，需要自己手动编写代码PyTorch- 由Facebook开发和维护，在学术界
转载
2024-07-14 06:52:18
63阅读
简述：使用两种数据集，多种方法，多向对比分类任务使用手写数字数据集，小批量梯度下降法，全连接神经网络的输入层为784个神经元，隐藏层为100个神经元，输出层10个神经元。损失函数为交叉熵代价函数，激活函数为sigmoid函数。回归任务使用自构随机数数据集，全连接神经网络的输入层为1000个神经元，隐藏层为100个神经元，输出层10个神经元。损失函数为均方误差代价函数，激活函数为y=x函数。一、 回
转载
2023-10-08 21:50:06
246阅读
之前在用预训练的ResNet的模型进行迁移训练时，是固定除最后一层的前面层权重，然后把全连接层输出改为自己需要的数目，进行最后一层的训练，那么现在假如想要只是把最后一层的输出改一下，不需要加载前面层的权重，方法如下：model = torchvision.models.resnet18(pretrained=False)
num_fc_ftr = model.fc.in_features
mode
转载
2023-07-21 23:28:18
123阅读
经过几天的研究，参考了许多文章之后，终于用pytorch搭建了两个完整的神经网络，并且基本上每句代码都弄清楚了，一个是只有全连接层的网络，另一个则是加入卷积层和池化层的CNN，实现的步骤总结如下：首先对上一篇博客中定义的类进行扩充：class Net(nn.Module):
def __init__(self):
su
转载
2023-09-02 02:12:31
282阅读
# PyTorch全连接层实现指南
## 简介
在深度学习中，全连接层是最常用的神经网络层之一，它连接所有输入节点和输出节点，每个输入节点都与输出节点相连。这篇文章将教会你如何使用PyTorch实现全连接层。
## 流程概述
下面是实现PyTorch全连接层的步骤概述：
| 步骤 | 描述 |
| --- | --- |
| 1 | 准备数据 |
| 2 | 定义模型 |
| 3 | 定义损
原创
2023-10-08 07:15:11
136阅读
1、Softmax（层）函数：将输出值转换成概率值（各个值按自身大小按比例缩放在[0,1]之间，且加起来等于1）：Softmax公式：如下流程图中，Exponent相当于softmax的表达式中的分子部分，Sum相当于把三个Exponent处理过后的相加，Divide相当于把单个Exponent处理好的数除以三个Exponent处理过后的和：2、交叉熵损失函数流程框图：3、交叉熵损失函数（Cros
转载
2023-11-01 23:07:41
99阅读
继上次做的简易的神经网络后，我们使用全连接层进行新的网络的构建(用于学会如何使用全连接层)写在前面:本篇文章所使用的数据集是作者自己构造的一个数据集，所以训练的效果比较好，在现实具体的例子中可能会存在垃圾数据，所以本篇模型仅做参考1.构造我们的数据集(CSV)首先我们使用excel随机的生成x1，x2(我们生成了380条数据)，然后我们套用公式计算出正确的y的结果，本篇文章我们的y=pow(x1,
转载
2023-08-16 11:41:04
145阅读
深度学习入门-卷积神将网络(CNN)整体结构 CNN与之前的神将网络不同的是，CNN中新出现了卷积层（Convolution层）和池化层（Pooling层）。 之前介绍的神经网络中，相邻层的所有神经元之间都有连接，这称为全 连接（fully-connected）。另外，我们用Affine层实现了全连接层。如下图所示。 CNN的结构如下： CNN 中新增了 Convolution 层 和 Pooli
转载
2024-03-11 10:32:32
349阅读
本专栏将主要介绍基于GAN的时序缺失数据填补。提起时序数据，就离不开一个神经网络——循环神经网络（Recurrent Neural Network, RNN）。RNN是一类用于处理序列数据的神经网络。RNN对具有序列特性的数据非常有效，它能挖掘数据中的时序信息。因为在介绍时序缺失数据填补，就离不开RNN的身影。本文将介绍循环神经网络RNN，并再次基础上完成基于pytorch的简单RNN代码实现，帮
转载
2024-01-22 21:48:54
235阅读
概述之前的博客中，笔者都曾提到attention机制。这种考虑全局，关注重点的机制在深度学习中很常见，尤其是self-attention将自然语言处理带到一个新高度。attention增加了深度学习的可解释性，并且应用广泛，在自然语言处理，计算机视觉，推荐系统中到处可见。它克服了循环神经网络解决过长序列时的问题，并且也可以像卷积神经网络那样能够并行计算。本文就列举几个比较经典的attention模
一、全连接神经网络介绍全连接神经网络是一种最基本的神经网络结构，英文为Full Connection，所以一般简称FC。FC的神经网络中除输入层之外的每个节点都和上一层的所有节点有连接。例如下面这个网络结构就是典型的全连接： 神经网络的第一层为输入层，最后一层为输出层，中间所有的层都为隐藏层。在计算神经网络层数的时候，一般不把输入层算做在内，所以上面这个神经网络为2层。其中输入层有3个神经元，隐层
转载
2023-09-05 16:23:57
1646阅读
PyTorch入门实战教程笔记（十五）：神经网络与全连接层2全连接层之前我们所写的全连接层，要自己定义w，b 设置梯度标志，需要自己了解操作和计算，需要知道它们的shape等，那么接下来，我们用pytorch自带的nn.Linear操作，来更快捷的进行以上操作。前面说到，使用torch.randn()定义w时，是先ch-out，再ch-in，即torch.randn(200,784，require
转载
2023-09-04 09:13:12
312阅读
对线性层的复用 Dense网络：稠密网络，有很多线性层对输入数据进行空间上的变换,又叫DNN 输入x1,x2…xn是数据样本的不同特征 Dense连接就是指全连接 比如预测天天气，就需要知道之前几天的数据，每一天的数据都包含若个特征，需要若干天的数据作为输入假设现在取前3天，每一天有3个特征第一种方法：把x1,x2,x3拼成有9个维度的长向量，然后去训练最后一天是否有雨用全连接稠密网络进行预测，如
转载
2024-06-12 21:38:36
51阅读
文章目录线性回归导入所需库生成数据集读取数据定义模型初始化模型参数定义损失函数和优化算法训练模型小结补充softmax回归基本原理交叉熵损失函数简洁实现 线性回归导入所需库import torch
import torch.nn as nn
import numpy as np
import random生成数据集num_inputs = 2
num_examples = 1000
true_w
转载
2023-09-04 08:29:15
107阅读
目录1.全连接神经网络简介 2.MLP分类模型2.1 数据准备与探索 2.2 搭建网络并可视化 2.3 使用未预处理的数据训练模型2.4 使用预处理后的数据进行模型训练3. MLP回归模型3.1 数据准备3.2 搭建回归预测网络 1.全连接神经网络简介全连接神经网络(Multi-Layer Perception，MLP)或者叫多层感知机，是一种连接
转载
2023-10-30 23:51:43
499阅读
上面定义了一个简单地神经网络CNN，它包含了两个卷积层，三个全连接层（又叫线性层或者Dense层），我们的每一层都扩展了pytorch的神经网络模块类，并且在每一层中有两个东西默认封装在里面，一个forward前向传播方法和一个权重张量，每层中的权重张量包含了随着我们的网络在训练过程中学习而更新的权重值，这就是我们在我们的Network类中指定的层作为类属性的原因。在Linear层中，我们使用了
转载
2023-11-10 11:45:49
103阅读
一、一个简单的全连接网络，只用到了Tensor的数据类型，没有用torch搭建模型和touch.optim的优化方法：# coding:utf-8
import torch
batch_n = 100
hidden_layer = 100
input_data = 1000
output_data = 10
x = torch.randn(batch_n, input_data)
y =
转载
2024-04-07 15:36:04
252阅读
全连接神经网络FC(Full Connection)FC的准则很简单：神经网络中除输入层之外的每个节点都和上一层的所有节点有连接。例如下面这个网络结构就是典型的全连接：神经网络的第一层为输入层，最后一层为输出层，中间所有的层都为隐藏层。在计算神经网络层数的时候，一般不把输入层算做在内，所以上面这个神经网络为2层。其中输入层有3个神经元，隐层有4个神经元，输出层有2个神经元。用PyTorch完成手写
转载
2023-11-20 11:30:04
35阅读
