RNN解决的很多问题，是文本相关的问题。循环神经网络： 注意到的是，在左侧的图中有一个反馈回路，反馈回路把上一个时刻输出的信息，作为下一个时刻的输入，来进行处理。右侧实际上是对左侧图的展开。按照时间序列展开。Xt是时刻t的输入St是时间t处的“记忆”，St=f(UXt+WSt-1)，f可以是tanh等Ot是时间t处的输出，比如是预测下个词的情况下，可能是softmax输出的属于每个候选
引言在使用pytorch深度学习框架，计算损失函数的时候经常会遇到这么一个函数：nn.CrossEntropyLoss()该损失函数结合了nn.LogSoftmax()和nn.NLLLoss()两个函数。它在做分类（具体几类）训练的时候是非常有用的。在训练过程中，对于每个类分配权值，可选的参数权值应该是一个1D张量。那么针对这个函数，下面将做详细的介绍。交叉熵交叉熵主要是用来判定实际的输出与期望的
转载
2023-10-23 11:08:53
157阅读
有的模型训练的精度问题要到动态的训练过程中才会发现，这是就需要检查输入数据和loss曲线。检查loss曲线很多精度问题会在网络训练过程中发现，常见的问题或现象有：·权重初始化不合理（例如初始值为0，初始值范围不合理等）；·权重中存在过大、过小值；·权重变化过大；·权重冻结不正确；·权重共享不正确；·激活值饱和或过弱（例如Sigmoid的输出接近1，Relu的输出全为0）；·梯度爆炸、消失；·训练e
转载
2024-01-03 12:36:49
1781阅读
引言： 对于二分类问题，一般会将预测结果经过一个非线性变换缩小到0到1之间，并设置一个阀值，比如0.5，小于0.5便是0，大于0.5便是1。但是这种做法对于多分类是不适用的。交叉熵： 通过神经网络解决多分类的方法是设置n个输出节点，n代表类别数。对于每一个样例，神经网络会得到一个n维数组做为输出结果。数组中
一、Loss Function
什么是Loss Function？wiki上有一句解释我觉得很到位，引用一下：The loss function quantifies the amount by which the prediction deviates from the actual values。Loss Function中文损失函数，适用于用于统计，经济，机器学习等领域，虽外表形式不一，
转载
2024-05-26 08:07:25
168阅读
maskrcnn_benchmark源码学习写在前面关于backbone1. 先期采用vgg16_bn进行初步探索。2. 实验过程随笔3. ResNet 各种变体结构resnet网络结构初级和高级block : Residual Block和BottleNeck Block4. FPN结构关于rpn关于roi_heads1. box_head2. mask_head数据集标签的制作、数据增强与加
转载
2024-04-25 20:32:20
44阅读
## 如何在PyTorch中查看Loss曲线
在深度学习的训练过程中，损失（Loss）是一个非常重要的指标，用于评估模型的性能。在PyTorch中，监控和可视化损失曲线可以帮助我们理解模型的学习过程、是否收敛以及是否过拟合。本文将详细介绍如何在PyTorch中查看Loss曲线，并提供相应的代码示例。
### 1. 准备数据和模型
首先，我们需要一些数据来训练模型。在这里，我们将使用高斯分布生
文章目录一、RNN网络（Recurrent Neural Network）1.1RNN网络模型定义1.2 RNN模型的缺点二、LSTM网络（Long Short Term Memory）2.1 LSTM原理2.2 LSTM缺点三、GRU网络四、 LSTM vs GRU差异五、总结 一、RNN网络（Recurrent Neural Network）1.1RNN网络模型定义RNN是一种特殊
转载
2024-03-24 18:34:36
290阅读
对于计算机视觉任务而言，图像分类是其中的主要任务之一，比如图像识别、目标检测等，这些任务都涉及到图像分类。而卷积神经网络（CNN）是计算机视觉任务中应用最为广泛且最为成功的网络之一。大多数深度学习研究者首先从CNN入门，上手的第一个项目应该是手写体MNIST数字图像识别，通过该项目能够大致掌握图像分类的基本操作流程，但由于该项目太成熟，按步骤操
转载
2024-05-13 09:49:54
29阅读
前言亲，显存炸了，你的显卡快冒烟了！torch.FatalError: cuda runtime error (2) : out of memory at /opt/conda/conda-bld/pytorch_1524590031827/work/aten/src/THC/generic/THCStorage.cu:58 想必这是所有炼丹师们最不想看到的错误，没有之一。OUT OF MEMO
转载
2023-11-25 15:36:29
316阅读
Hao Wang, Yitong Wang, Zheng Zhou, Xing Ji, Dihong Gong, Jingchao Zhou, Zhifeng Li∗, and Wei Liu∗Tencent AI Lab{hawelwang,yitongwang,encorezhou,denisji,sagazhou,michaelzfli}@tencent.comgongdihong@gmai
转载
2024-02-04 20:48:22
243阅读
读懂时序图前言读时序图之前，首先要明确几个概念引脚首先，时序图一般指同步时序图，异步时序例如串口（UART/SCI）不在讨论之列判断同步时序的方法很简单，就是看是否存在专门的Clock信号引脚，其次看I/O引脚上的边沿是否和Clock同步，一般常见的同步时序串行接口有SPI、SDIO、I2C、I2S、USART等本文档由W25Q64（华邦电子出品，NOR Flash，SPI/QSPI接口）中的一个
转载
2023-08-10 20:12:39
140阅读
时序图读法先上图 从上到下，从左到右，高电平在上，低电平在下，高阻态在中间。双线表示可能高也可能低，视数据而定。交叉线表示状态的高低变化点，可以是高变低，也可以是低变高，也可以不变。 竖线是生命线，代表时序图的对象在一段时期内的存在，时序图中每个对象和底部中心都有一条
转载
2023-11-06 22:51:33
332阅读
P-R曲线P-R曲线，全称时precision-recall，纵轴为查准率（precision），横轴为查全率（recall）。查准率的计算公式如下，表示所有预测为正例的数据中，真正例所占的比例，公式如下：。查全率是指预测为真正例的数据占所有正例数据的比：查准率和查全率是一对矛盾的度量，一般来说，precision高时，recall往往偏低，recall高时，precision往往偏低。可以这么理
转载
2024-08-13 10:35:41
201阅读
# 如何使用 PyTorch 绘制 Loss 图
在深度学习模型的训练过程中，监控训练损失（loss）的变化是非常重要的，能够帮助我们判断模型的表现和调整训练策略。本文将一步一步教你如何在 PyTorch 中绘制损失图，适合刚入行的小白开发者。我们将依次介绍每一个步骤，并提供详细的代码示例。
## 整体流程
| 步骤 | 描述 |
|------
# 如何正确地查看Java类图
在软件开发过程中，经常会遇到需要查看Java类图的情况，以便更好地理解代码结构和关系。在本文中，我们将介绍如何正确地查看Java类图，并通过实际示例来说明具体操作步骤。
## 什么是Java类图
Java类图是一种用来展示Java类之间关系的图表，通常包括类之间的继承关系、关联关系、依赖关系等。通过查看Java类图，可以帮助开发人员更清晰地了解代码结构，从而更
原创
2024-02-29 05:33:57
77阅读
2021SC@SDUSC loss计算代码损失函数 heatmap loss 输入图像,W为图像宽度，H为图像高度。网络输出的关键点热图heatmap为其中，R代表得到输出相对于原图的步长stride。C代表类别个数。 下面是CenterNet中核心loss公式： 这个和Focal loss形式很相似，和是超参数，N代表的是图像关键点个数。在的时候， 对于易分样本来说，预测值接近于1，就是一个很小
本篇文章是逻辑回归系列的第二篇，是深入讲解了逻辑回归，主要从三个方面介绍：（1）对假设函数的再理解；（2）Decision Boundary;(3)多类问题。
（整理自AndrewNG的课件，转载请注明。整理者：华科小涛@） 上一篇讲解了Logistic Regression的基础知识，感觉有很多知识没说清
转载
2024-03-15 15:36:40
73阅读
## java类图怎么看
Java类图是一种用于描述Java程序中类之间关系的图形化表示方法。它可以帮助开发人员更好地理解和分析程序的结构和设计。
### 类图的组成部分
Java类图由以下几个主要的组成部分构成：
1. 类或接口：表示程序中的类或接口，用矩形框表示。类名或接口名在框内，类名在最上方，接口名在最下方。
```java
public class MyClass {
原创
2023-10-28 10:20:57
49阅读
# 解决Java应用性能问题的方案
## 背景
在开发、测试和部署Java应用程序时，经常会遇到性能问题。其中，火焰图是一种常用的性能分析工具，可以帮助我们找出应用程序中的性能瓶颈。本文将介绍如何使用火焰图来分析Java应用程序的性能问题，并提供一些代码示例来解决一个具体的问题。
## 火焰图简介
火焰图是一种可视化工具，能够将应用程序在执行过程中所消耗的CPU资源呈现出来。通过火焰图，我
原创
2023-10-23 14:26:20
333阅读
