基础知识部分第一章 模型选择+过拟合和欠拟合1.区分两种误差2.分清两种重要的数据集3.K-则交叉验证4.欠拟合和过拟合解决办法： （欠拟合） 1.获得更多的训练数据 2.降维 3.正则化：保留特征、减少参数大小 （过拟合） 1.添加新特征 2.增加模型复杂度 3.减小正则化系数5.估计模型容量全连接层如何计算参数的个数： h = wx + b(h充当下一次的x 每一层的b只有1个)6.总结7.一
文章目录前言一、pytorch_geometric是什么？二、安装步骤2.1 安装编译好的版本2.2 源码安装总结 前言Ubuntu+RTX3080源码安装pytorch_geometric库。一、pytorch_geometric是什么？pytorch_geometric是用于图神经网络学习的Pytorch扩展库，集成了常见的图神经网络结构以及经典方法。详细信息可见其官方文档。二、安装步骤2.
# PyTorch MSELoss函数的实现
## 引言
PyTorch是一个广泛使用的深度学习框架，提供了丰富的功能和API来构建和训练神经网络模型。在深度学习中，我们经常需要定义损失函数来评估模型的性能。其中之一就是均方误差损失函数（Mean Squared Error Loss），简称MSELoss。本文将向你介绍如何使用PyTorch的MSELoss函数API，并指导你完成相应的代码实现
在前面我们介绍了如何用Pytorch来实现一个两层的神经网络，但是其编码过程略
原创
2022-01-18 09:51:25
92阅读
在前面我们介绍了如何用Pytorch来实现一个两层的神经网络，但是其编码过程略微显得有点复杂。例如我们要手动自己定义权重参数，自己书写如何进行梯度更新等等。但要是某个网络多达几十层，那这个工作量显然是巨大的。因此，将一些常
原创
2021-12-28 16:03:34
305阅读
在深度学习任务中，根据loss的设计可以简单的分为线性回归、逻辑回归和softmax回归。一、线性回归loss其中线性回归是指拟合一个线性函数，通常用mse、mae来评价模型的拟合效果，此外mse、mae还可以作为loss训练模型。需要格外注意的是loss值的大小毫无意义，只有梯度值才是决定模型学习的方向。只是，一般情况下loss与梯度呈现正相关，loss大，则梯度也大。在线性回归中，y_pred
getattr()是 Python 的一个内置函数，用于动态地获取对象的属性或方法。可以通过字符串的形式获取对象的某个属性或方法，而不用显式地访问它。这在处理属性名动态变化时非常有用。
有如下代码块 self.gan_mode = gan_mode if gan_mode == 'lsgan':
原创
2022-01-05 11:11:54
950阅读
torch.sparse是一个专门处理稀疏张量的模块。通常，张量会按一定的顺序连续地进行存取。但是，对于一个存在很多空值的稀疏张量来说，顺序存储的效率显得较为低下。因此，pytorch推出了稀疏张量的处理模块。在这里，有意义的值被称为specified elements，而无意义的值（空值，通常为0，但是也可以是其他值）则被称为fill value。只有足够稀疏的张量使用这种方式进行存储才能获
转载
2023-09-06 16:31:19
60阅读
文章目录概述前置知识diffusion图示扩散过程逆扩散过程后验的扩散条件概率似然函数算法代码实现 概述扩散概率模型 《deep unsupervised learning using nonequilibrium thermodynamics》 https://arxiv.org/pdf/1503.03585.pdf 《denoising diffusion probabilistic mod
转载
2023-10-18 22:03:55
0阅读
MSELoss损失函数中文名字就是：均方损失函数，公式如下所示：这里 loss, x, y 的维度是一样的，可以是向量或者矩阵，i 是下标。很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数。因为一般损失函数都是直接计算 batch 的数据，因此返回的 loss 结果都是维度为 (batch_size, ) 的向量。一般的使用格式如下所示：loss_fn = torch.nn.MSELoss(reduce=True, size_average
原创
2021-08-13 09:40:04
1812阅读
MSELoss(均值损失)MSELoss(均值损失)MSELoss(均值损失)
原创
2021-08-02 14:06:32
3735阅读
MSELoss损失函数中文名字就是：均方损失函数，公式如下所示： 这里 loss, x, y 的维度是一样的，可以是向量或者矩阵，i 是下标。 很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数。因为一般损失函数都是直接计算 batch 的数据，因此返回的 l
转载
2018-10-25 11:55:00
354阅读
2评论
# PyTorch 中 MSELoss 和 L1Loss 的对比
在深度学习中，损失函数用于衡量模型预测值与真实值之间的差异。最常见的损失函数包括均方误差损失（Mean Squared Error Loss, MSELoss）和平均绝对误差损失（L1 Loss）。本文将带领你探索如何在 PyTorch 中比较这两种损失函数。
## 流程概述
在进行对比之前，我们需要规划一下流程。以下是实现对
数据归一化假如我们不对数据进行归一化，数据会在损失曲线下降到一般的时候就不再快速下降了。因为再快速下降的时候，是因为某个特征带来的红利，但一旦红利耗尽之后，再次迭代就不再那么明显了，会十分缓慢。 如图： 对数据进行归一化之后再进行线性回归： 归一化手段，示例使用均值归一化，公式如下： 这样可以把X控制在 import torch
from debug import ptf_tensor
x =
# 如何实现pytorch官方模型
作为一名经验丰富的开发者，你可以向刚入行的小白介绍如何实现“pytorch官方模型”。下面将展示整个流程的步骤，并为每一步提供所需的代码和注释。
## 整体流程
首先，我们需要了解整个实现过程的步骤和顺序。下面是一个展示整体流程的表格。
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 设置训练和测试数据集 |
| 步骤二 | 构建模型
原创
2023-08-26 07:34:12
52阅读
# PyTorch 官方蒸馏实现教程
## 一、整体流程
为了帮助你更好地理解如何在 PyTorch 中实现官方蒸馏，我将通过以下表格展示整个流程：
| 步骤 | 描述 |
| ------ | ------ |
| 1 | 定义教师模型和学生模型 |
| 2 | 定义损失函数 |
| 3 | 准备数据集 |
| 4 | 遍历数据集进行训练 |
| 5 | 保存学生模型 |
## 二、具体
本文转自『机器之心』PyTorch 是近年来较为火爆的深度学习框架，然而其中文版官方教程久久不来。近日，一款完整的 PyTorch 中文版官方教程出炉，读者朋友可以更好的学习了解 PyTorch 的相关细节了。教程里有什么教程根据 PyTorch 官方版本目录，完整地还原了所有的内容。包括简单的环境搭建、快速入门相关 API、高级操作、图像处理实战、文本处理实战、GAN 和强化学习等，基本涵盖了目
转载
2023-10-29 16:44:29
117阅读
原文官方文档tutor：https://pytorch.org/tutorials/beginner/basics/quickstart_tutorial.html1. Introduction1.1 数据载入1.1.1 预加载的数据集pytorch的默认库TorchText、TorchVision、TorchAudio都提供了默认的数据集;链接如下—PyTorch domain librarie
记录PyTorch 官方入门教程中的大部分代码和对代码的解释注释暂时内容包括：张量；数据集和数据读取；转换参考网站：Tensors — PyTorch Tutorials 1.12.0+cu102 documentationDatasets & DataLoaders — PyTorch Tutorials 1.12.0+cu102 documentation 一、张量
