# 用 PyTorch 实现 GHM（Gradient Harmonizing Mechanism）
在计算机视觉和深度学习的领域，处理样本不均衡的问题是一个重要的任务。GHM（Gradient Harmonizing Mechanism）就是一种旨在解决这个问题的技术。接下来，我们将步骤化地介绍如何在 PyTorch 中实现 GHM。以下是我们要完成的主要流程：
| 步骤
刚开始学AI，几乎没用过Python，听说PyTorch发展不错，且比TensorFlow更容易上手，调试也更简单，那就PyTorch吧。在PyTorch官网文档指导下，安装好了PyTorch，接着就看官网的，这篇tutorial写得很不错，文字部分基本都能理解，但是到了第一个例子，虽然是及其简单的AI示例，但我看代码还是感觉吃力，又查了不少资料，才大概理解，这里就算是做了个笔记和总结吧。示例代码
转载
2023-10-12 13:44:54
95阅读
焦点损失函数 Focal Loss（2017年何凯明大佬的论文）被提出用于密集物体检测任务。 当然，在目标检测中，可能待检测物体有1000个类别，然而你想要识别出来的物体，只是其中的某一个类别，这样其实就是一个样本非常不均衡的一个分类问题。 而Focal Loss简单的说，就是…
原创
2021-05-20 21:55:29
1319阅读
全球人类改造数据集 (gHM) 以 1 平方公里的分辨率提供全球人类对陆地土 C.M., J.R. Oakleaf,
原创
2022-06-26 01:17:33
144阅读
文章目录绪论1. PyTorch基础2. 人工神经网络和反向传播3. 动态计算图（dynamic computational graph）4. 反向函数（Backward()）5. 数学：雅可比和向量 绪论本人在学PyTorch，对它的计算图产生疑惑。后学习国外一篇博文后，感觉收获颇丰，故转载翻译而来。本文将会主要关注PyTorch计算图相关和autograd类的backward等方面。 图1
转载
2024-03-04 21:24:03
81阅读
1. 什么是Pytorch，为什么选择Pytroch？ PyTorch是一个基于Torch的Python开源机器学习库，用于自然语言处理等应用程序。 它主要由Facebook的人工智能研究小组开发。Uber的"Pyro"也是使用的这个库。PyTorch是一个Python包，提供两个高级功能：具有强大的GPU加速的张量计算（如NumPy）包含自动求导系统的的深度神经网络。 为什么选择PyTorch？
转载
2023-08-07 02:02:51
111阅读
整个代码分两个阶段第一阶段的识别是YOLOv5来实现的第二阶段是追踪，由Deep Sort算法来实现。再次基础上进行了计数代码地址：https://github.com/dongdv95/yolov5/tree/master/Yolov5_DeepSort_Pytorch把代码git下来git clone https://github.com/dongdv95/yolov5/tree/master
转载
2024-08-12 14:22:50
54阅读
一. SyncBN1.1 什么是SyncBNSyncBN就是Batch Normalization(BN)。其跟一般所说的普通BN的不同在于工程实现方式：SyncBN能够完美支持多卡训练，而普通BN在多卡模式下实际上就是单卡模式。 BN中有moving mean和moving variance这两个buffer，这两个buffer的更新依赖于当前训练轮次的batch数据的计算结果。但是在普通多卡D
转载
2023-09-05 14:38:11
215阅读
API更改torch.range被弃用，赞成torch.arange与numpy和python范围一致。在稀疏的传感器上，contiguous更名为现在，coalesce并且coalesce现在已经不合适。 （提醒Sparse API仍然是实验性和演进性的，所以我们不提供后向兼容性）。
新功能
新层次和功能torch.topk现在支持所有CUDA类型，不只是torch.cud
转载
2023-10-23 10:25:10
25阅读
1、Batch Normalization概念Batch Normalization：批标准化批： 一批数据，通常为mini-batch标准化： 0均值，1方差优点：可以用更大学习率，加速模型收敛；可以不用精心设计权值初始化；可以不用dropout或较小的dropout；可以不用L2或者较小的weight decay；可以不用LRN（local response normalization局部响应
转载
2023-09-27 06:46:24
19阅读
文章目录1. 前言2. 安装和使用Pytorch 2.03. 结语 1. 前言Pytorch2.0和GPT4、文心一言同一时间段发布，可谓是热闹至极，我看了看Pytorch 2.0的文档，一句话概括下，2.0的功能介绍，核心就是torch.compile：opt_module = torch.Compile(module)加入这行代码就能优化你的模型，优化后的模型和往常使用方式一样，推理速度会提
转载
2024-01-27 20:09:23
94阅读
NLP FROM SCRATCH: CLASSIFY NAMES WITH A CHARACTER-LEVEL RNN我们将建立和训练一个基于字符级的RNN模型，用来分类words。本教程将展示如何从零开始预处理数据，然后构建NLP模型。特别是没有使用torchtext的一些功能情况下，如何用底层模块进行NLP建模前的预处理工作。基于字符级的RNN模型，以a series of character
转载
2024-05-08 11:25:10
57阅读
莫烦PyTorch教程笔记整理 文章目录一、PyTorch神经网络基础1.Torch和Numpy2.变量2.激励函数二、搭建简单的神经网络1.回归2.分类3.搭建网络的两种方法4.模型的保存和提取5.批训练 一、PyTorch神经网络基础1.Torch和NumpyTorch中的tensor与Numpy中的数组非常类似，二者的基本操作类似，可以相互转换： 将Numpy数组转换为Torch的tenso
转载
2023-10-08 16:38:36
191阅读
tensor分为头信息区（Tensor）和存储区（Storage）信息区主要保存着tensor的形状（size）、步长（stride）、数据类型（type）等信息，而真正的数据则保存成连续数组，存储在存储区因为数据动辄成千上万，因此信息区元素占用内存较少，主要内存占用取决于tensor中元素的数目，即存储区的大小 一般来说，一个tensor有着与之相对应的storage，st
本期目录1. 背景1.1 各领域常用库1.2 CIFAR10简介2. 数据集2.1 加载并正则化CIFAR10数据集2.2 训练集可视化3. 定义卷积神经网络4. 定义损失函数和优化器5. 训练模型6. 保存模型参数7. 测试7.1 测试集可视化7.2 加载模型参数8. 多卡训练 1. 背景 1.1 各领域常用库 在深度学习的实战中，通常要处理各种类型的数据，例如图片、文本、声音和视频。我
转载
2024-08-05 22:14:36
43阅读
文章目录前言一、数据集预处理二、读取和加载步骤1.继承Dataset2.构造自己的Dataset3.load数据集总结 前言最近在做李沐发布的Kaggle树叶分类竞赛，在处理和加载Classify-Leaves数据集的时候遇到了一些问题，真是巧妇难为无米之炊啊，现在记录下来，希望可以帮助到更多的初学者！一、数据集预处理数据集由一个images文件和三个csv文件组成 打开train.csv文件可
转载
2023-10-16 00:44:47
270阅读
很多真实数据的维度经常更高。例如，彩色图像在高和宽2个维度外还有RGB（红、绿、蓝）3个颜色通道。假设彩色图像的高和宽分别是和（像素），那么它可以表示为一个的多维数组。我们将大小为3的这一维称为通道（channel）维。本节我们将介绍含多个输入通道或多个输出通道的卷积核。1. 多输入通道当输入数据含多个通道时，我们需要构造一个输入通道数与输入数据的通道数相同的卷积核，从而能够与含多通道的输入数据做
转载
2023-10-08 08:38:42
90阅读
pytorch学习笔记（六）——pytorch进阶教程之合并与分割目录tensor的加减乘除----add/sub/mul/divtensor的矩阵相乘----mm,matmul/@2d以上的tensor矩阵相乘tensor的次方----pow/sqrt/rsqrt/exp/logtensor的其他运算----floor/ceil/round/trunc/fractensor的其他运算----c
转载
2023-10-08 09:01:32
104阅读
DQN（Deep Q Network）DQN可以使计算机玩游戏比人类厉害，Q-learning和Deep-learning的融合当游戏的状态和动作多种多样，多到天文数字的时候，如果用表格来存储的话，显然不切实际，如果用到神经网络就是给出一个状态和动作，通过神经网络，得到这个状态和动作下的value；也可以经过一个状态，通过神经网络，得到不止一个对应的values + op —> value1
转载
2023-12-31 16:36:33
115阅读
文本嵌入预训练模型Glove1.词嵌入预训练模型2.Glove3.求近义词和类比词1.文本嵌入预训练模型虽然 Word2Vec 已经能够成功地将离散的单词转换为连续的词向量，并能一定程度上地保存词与词之间的近似关系，但 Word2Vec 模型仍不是完美的，它还可以被进一步地改进：子词嵌入（subword embedding）：FastText 以固定大小的 n-gram 形式将单词更细致地表示为了
转载
2023-12-06 17:05:29
63阅读
