最近训练一个BP神经网络做回归，发现拟合效果很烂，甚至我用单样本训练竟然还是欠拟合。然后我昨天晚上发现，这个预测结果，随着我epoch次数的增加，最后所有预测结果会趋同。 这边一共放了三张大图，每张大图里面有两张小图，上面的小图记录了train accuracy（红）和test accuracy（蓝），评价标准是R square；下面的小图是我追踪的预测结果。三次训练分别是10、3、2个样本。 可
转载
2023-09-27 17:39:04
277阅读
使用 PyTorch 实现线性回归模型1. 线性回归模型实现# 导入需要的包
import torch
from torch import nn
import matplotlib.pyplot as plt
# step1 准备数据
# x_data,y_data 分别是一个3行1列的矩阵，即分别有3个数据，每个数据只有1个维度
x_data=torch.Tensor([[1.0],[2.0],
文章目录概述直接上pytorch网络搭建设置优化器选择损失函数开始训练（炼丹）测试模式（nograd）进阶指南 老规矩，先送上官网，建议不知道优化器，损失函数，网络模型的朋友们看看官网 https://pytorch.org/
https://pytorch.org/docs/stable/nn.html 基本都在torch.nn下 鸣谢： https://zhuanlan.zhi
转载
2024-04-22 16:36:47
57阅读
# 解决 PyTorch 回归任务中 loss 不下降的问题
在机器学习和深度学习领域，回归任务是一种常见的任务。作为一个刚入行的小白，您可能会遇到回归模型的损失（loss）不下降的问题。这可能是因为多个因素导致的。在这篇文章中，我将详细说明整个流程，通过逐步指导您如何解决这一问题。
## 整体流程
解决回归损失不下降的问题通常可以分为以下几个步骤。下面的表格总结了每一个步骤以及相应的操作。
背景最近一直在总结Pytorch中Loss的各种用法，交叉熵是深度学习中最常用的计算方法，写这个稿子把交叉熵的来龙去脉做一个总结。什么是交叉熵信息量引用百度百科中信息量的例子来看，在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。
转载
2024-08-21 19:26:25
57阅读
我用的是Anaconda3 ，用spyder编写pytorch的代码，在Anaconda3中新建了一个pytorch的虚拟环境（虚拟环境的名字就叫pytorch)。以下内容仅供参考哦~~1.首先打开Anaconda Prompt，然后输入activate pytorch，进入pytorch.2.输入pip install tensorboardX，安装完成后，输入python，用from tens
转载
2023-07-28 15:38:38
1080阅读
目录前言一、损失函数二、详解1.回归损失2.分类损失三. 总结 前言损失函数在深度学习中占据着非常重要的作用，选取的正确与否直接关系到模型的好坏。本文就常用的损失函数做一个通俗易懂的介绍。一、损失函数根据深度函数的模型类型，损失函数可分为三类：1. 回归损失（Regression loss）：预测连续的数值，即输出是连续数据：如预测房价、气温等；2. 分类损失（Classificat
转载
2023-07-11 13:39:17
156阅读
文章目录1 Loss 介绍2 常见 LossL1 lossL2 lossNegative Log-Likelihood（NLL）Binary Cross-EntropyCross-EntropyHinge EmbeddingMargin Ranking LossTriplet Margin LossKL Divergence Loss3 Loss 设计4 softmax 及其变体5 Loss 异
转载
2024-03-11 12:11:44
203阅读
目录参考文献人脸损失函数CenterLoss （2016）余弦距离 cosine lossCosineMarginLoss（Large-Margin-Cosine-Loss）（2018 CosFace）ArcFaceCircle Loss（2020）MV-Softmax loss（2020）CurricularFace（2020）人脸损失函数github源码详解ArcFace（InsightFa
转载
2024-05-27 15:46:19
77阅读
文章目录1. 损失函数总览2. 回归损失函数3. 分类损失函数3.1 [交叉熵](https://charlesliuyx.github.io/2017/09/11/什么是信息熵、交叉熵和相对熵/ "【直观详解】信息熵、交叉熵和相对熵")3.2 分类损失函数3.3 总结 文章目录1. 损失函数总览2. 回归损失函数3. 分类损失函数3.1 [交叉熵](https://charlesliuyx.
转载
2023-08-09 00:55:43
223阅读
目录准备知识pytorch计算图（前馈+反向）pytorch线性回归（代码实战）构造数据pytorch中的分析构造模型构造损失函数和优化器迭代更新梯度输出与测试 准备知识注：了解计算图的同学可直接跳过。pytorch计算图（前馈+反向）无论在pytorch还是在tensorflow中，都是用计算图来计算前馈和反向传播过程。我们首先来介绍一个简单的计算图： 如上图所示，表示了y’ = w * x的
转载
2023-10-16 02:29:53
93阅读
文章目录1、CrossEntropyLoss-CE 交叉熵损失1.1 是什么？1.2 物理含义1.2 怎么代码实现和代码使用？1.2* 怎么代码实现和代码使用？1.3 应用场景1.3.1 多分类1.3.1 数值的回归参考 1、CrossEntropyLoss-CE 交叉熵损失1.1 是什么？一个损失函数，虽然说的是交叉熵，但是和《信息论》的交叉熵不一样。首先输入是size是(minibatch,
转载
2023-11-12 13:09:20
188阅读
文章目录1. CrossEntropyLoss()1.1 CEL中不同计算模式的影响1.2 CEL中分类权重 weights 的影响1.3 nn.LogSoftmax()2. nn.NLLLoss()3. nn.BCELoss()4. nn.BCEWithLogitsLoss()5. nn.L1LOSS （MAE）6. nn.MSELoss7. nn.SmoothL1Loss8. nn.Pois
转载
2023-11-02 10:09:41
176阅读
在上一篇文章 中，我们自己手动实现了对于softmax操作和交叉熵的计算，可其实这些在Pytorch框架中已经被实现了，我们直接拿来使用即可。但是，为了能够对这些内容有着更深刻的理解，通常我们都会自己手动实现一次，然后在今后的使用中就可以直接拿现成的来用了。在接下来这篇文章中，笔者将首先介绍如何调用Pytorch中的交叉熵损失函数，然后再同时借助nn.Linear()来实现一个简洁版的
转载
2023-11-25 12:27:11
156阅读
在构建loss时pytorch常用的包中有最常见的MSE、cross entropy（logsoftmax+NLLLoss）、KL散度Loss、BCE、HingeLoss等等，详见：https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#loss-functions这里主要讲解一种考虑类间距离的Center
转载
2024-03-06 09:58:54
217阅读
前言交叉熵损失本质是衡量模型预测的概率分布与实际概率分布的差异程度，其值越小，表明模型的预测结果与实际结果越接近，模型效果越好。熵的概念来自与信息论，参考资料1对交叉熵的概念做了简明的介绍，很好理解。需要注意： Pytorch中的CrossEntropyLoss是LogSoftMax与NLLLoss的结合，下面以实例逐步拆解CrossEntropyLoss的计算过程。LogSoftMax当网络最后
转载
2023-08-11 21:23:36
171阅读
文章目录triplet losstriplet hard loss triplet loss官方文档：torch.nn — PyTorch master documentation关于三元损失，出自论文：FaceNet: A Unified Embedding for Face Recognition and Clustering三元损失的介绍很多看下图：训练集中随机选取一个样本：Anchor（
转载
2024-01-05 10:09:39
399阅读
文章目录1目标函数2损失函数3目标函数优化方式4线性回归5多项式扩展6线性回归+多项式扩展7Logistic回归8SoftMax回归9交叉验证10KNN 1目标函数在算法模型优化的过程中，优化的方向函数，每次迭代优化的时候都让这个目标函数的值最小化，而我们的最优解其实是目标函数最小化的时候的取对应的参数值2损失函数一般情况下和目标函数是同一个，有时候损失函数表达的意义是指我们的模型参数给定的时候
转载
2024-07-08 05:04:09
39阅读
Pytorch中的学习率调整有两种方式：手动调整optimizer中的lr参数利用lr_scheduler()提供的几种衰减函数 Pytorch中的学习率调整方法一. 手动调整optimizer中的lr参数二. 利用lr_scheduler()提供的几种调整函数2.1 LambdaLR(自定义函数)2.2 StepLR(固定步长衰减)2.3 MultiStepLR(多步长衰减)2.4 Expone
转载
2023-11-08 20:30:13
246阅读
19 种损失函数tensorflow和pytorch很多都是相似的，这里以pytorch为例1、 L1范数损失 L1Loss计算 output 和 target 之差的绝对值。 torch.nn.L1Loss(reduction=‘mean’) 参数： reduction-三个值，none: 不使用约简；mean:返回loss和的平均值；sum:返回loss的和。默认：mean。2、均方误差损失
转载
2024-08-19 16:43:58
140阅读
