文章目录前言Inplace操作概述inplace操作的优缺点常见的inplace操作总结参考链接 前言之前在写训练代码时，遇到了inplace operation导致的问题，所以就了解了一下pytorch的inplace operation，在此记录一下inplace操作的一些知识。报错信息如下：RuntimeError: one of the variables needed for grad
转载
2023-07-13 11:05:50
308阅读
# 如何实现"pytorch infonce"
## 流程图
```mermaid
journey
title 整件事情的流程
section 步骤
开始 --> 下载数据 --> 数据预处理 --> 构建模型 --> 模型训练 --> 模型评估 --> 完成
```
## 步骤及代码解析
### 1. 下载数据
首先，我们需要下载数据集，可以使用`tor
原创
2024-03-11 04:29:04
179阅读
示例一：可以进行相加的tensorfrom __future__ import print_function
import torch # 找不到torch模块是因为对应的解释器中没有torch模块
# File-Settings-grammer_learning-Project Interpreter:进行更换即可
x=torch.empty((6,1,2))
z=torch.empty((
转载
2024-01-31 16:06:22
127阅读
目录1.准备可复现的随机数据2.实现并训练模型2.1定义模型2.2搭建并训练模型2.3评估及使用模型 1.准备可复现的随机数据可复现是指：一个程序在相同设备上多次运行，可以得到相同的结果。在调试程序过程中，常使用这种方式来复现问题，方便地找出上一次运行时所出现的问题。 具体做法是，在程序开始时固定torch的随机数种子，并固定numpy的随机数种子。import torch
import num
转载
2023-12-20 06:04:52
176阅读
# 使用infoNCE损失函数进行无监督学习的介绍
在无监督学习中，我们通常没有标签来指导我们的模型训练。因此，如何设计一个有效的损失函数来进行无监督学习是一个重要的问题。InfoNCE（Noise Contrastive Estimation of Mutual Information）损失函数是一种用于无监督学习的方法，可以用于训练对比学习模型。本文将详细介绍infoNCE损失函数的原理，并
原创
2023-12-24 09:06:25
3448阅读
点赞
开篇几句题外话：以往的代码，都是随便看看就过去了，没有这样较真过，以至于看了很久的深度学习和Python，都没有能够形成编程能力；这次算是废寝忘食的深入进去了，踏实地把每一个代码都理解透，包括其中的数学原理（目前涉及的还很浅）和代码语句实现的功能；也是得益于疫情封闭在寝室，才有如此踏实的心情和宽松的时间，最重要的是周边的环境，没有干扰。Lecture03——Gradient Descent 梯度下
最近看文献一直看到这个损失函数，索性记录一下。 这里写目录标题1. 总述2. 损失函数形式3. 小结4. 个人看法 1. 总述Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。2. 损失函数形式Focal loss是在交叉熵损失函数基础上进行的修改，首先回顾二分类交叉上损失：是经
在本博文中，我将详细记录如何使用 PyTorch 计算 InfoNCE（Information Noise Contrastive Estimation）。InfoNCE 是一种对比学习的方法，广泛应用于无监督学习中的表示学习。在这个过程中，我将分步指导你搭建环境、配置参数、验证模型性能，并提供一些优化技巧和扩展应用的建议。
## 环境准备
在开始之前，我们需要确保我们的硬件与软件环境满足以下
前言针对目标检测框Box(x1,y1,x2,y2)的回归学习中，网络损失函数从最早的IoU到GIoU，再到DIoU、CIoU和EIoU，现在出现了SIoU。那么他们都是什么呢？又由哪些优点？正文IOU就是交并比，预测框和真实框相交区域面积和合并区域面积的比值，计算公式如下： 优点：1、能够很好的反映重合度；2、具有尺度不变形 缺点：不相交时，值为0，无法反映中心距离GIoU克服了两个框不相交时Io
转载
2024-10-13 10:10:48
716阅读
众所周知，Scikit-learn(以前称为scikits.learn)是一个用于Python编程语言的免费软件机器学习库。它具有各种分类，回归和聚类算法，包括支持向量机，随机森林，梯度增强，k-means和DBSCAN，旨在与Python数值和科学库NumPy和SciPy互操作。本文将带你入门常见的机器学习分类算法——逻辑回归、朴素贝叶斯、KNN、SVM、决策树。逻辑回归 (Logis
YOLOV5中损失函数即代码讲解 YOLOV5中loss.py文件代码讲解： yolov5中一共存在三种损失函数： 分类损失cls_loss：计算锚框与对应的标定分类是否正确 定位损失box_loss：预测框与标定框之间的误差（CIoU） 置信度损失obj_loss：计算网络的置信度 通过交叉熵损失函数与对数损失的结合来计算定位损失以及分类损失。class BCEBlurWithLogitsLos
转载
2024-01-20 22:37:50
772阅读
1.总述Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。2.损失函数形式 y`是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优
转载
2024-09-10 16:28:48
41阅读
# 信息归一化互信息估计（InfoNCE）函数在自监督学习中的应用
在自监督学习中，信息归一化互信息估计（InfoNCE）函数是一种常用的损失函数，用于度量模型学习到的表示在不同视图下的相似性。通过最大化正样本之间的相似性，最小化负样本之间的相似性，模型可以学习到更具有判别性的表示。
## InfoNCE函数原理
InfoNCE函数可以用以下数学公式表示：
$$
\text{InfoNCE
原创
2024-05-26 05:44:47
1135阅读
Representation Learning with Contrastive Predictive Coding(CPC) 论文链接 Motivation Predict the future->Good Representation->Mutual Information 也就是说想要得到好的 ...
转载
2021-10-26 15:29:00
1254阅读
2评论
文章目录一、前言二、CFOG原理三、实验结果四、总结五、知识产权 一、前言上一节我们介绍了HOPC匹配算法，该算法可以实现可见光、红外、SAR、LiDAR和地图等多种多模态遥感影像的自动配准，但是该方法计算效率较低，不能很好满足实时处理的需要。因此，我们介绍一种HOPC的改进算法，名为方向梯度特征通道（Chanel Feature of Orientated Gradient，CFOG），该算法
关于NCE loss：知乎上的一些介绍的文字 https://zhuanlan.zhihu.com/p/58369131
github上的介绍文字：https://leimao.github.io/article/Noise-Contrastive-Estimation/
NCE bridges the gap between generative models and discriminati
原创
2021-06-29 14:44:57
8694阅读
文章目录前言一、数据集预处理二、读取和加载步骤1.继承Dataset2.构造自己的Dataset3.load数据集总结 前言最近在做李沐发布的Kaggle树叶分类竞赛，在处理和加载Classify-Leaves数据集的时候遇到了一些问题，真是巧妇难为无米之炊啊，现在记录下来，希望可以帮助到更多的初学者！一、数据集预处理数据集由一个images文件和三个csv文件组成 打开train.csv文件可
转载
2023-10-16 00:44:47
270阅读
tensor分为头信息区（Tensor）和存储区（Storage）信息区主要保存着tensor的形状（size）、步长（stride）、数据类型（type）等信息，而真正的数据则保存成连续数组，存储在存储区因为数据动辄成千上万，因此信息区元素占用内存较少，主要内存占用取决于tensor中元素的数目，即存储区的大小 一般来说，一个tensor有着与之相对应的storage，st
NLP FROM SCRATCH: CLASSIFY NAMES WITH A CHARACTER-LEVEL RNN我们将建立和训练一个基于字符级的RNN模型，用来分类words。本教程将展示如何从零开始预处理数据，然后构建NLP模型。特别是没有使用torchtext的一些功能情况下，如何用底层模块进行NLP建模前的预处理工作。基于字符级的RNN模型，以a series of character
转载
2024-05-08 11:25:10
57阅读
一. SyncBN1.1 什么是SyncBNSyncBN就是Batch Normalization(BN)。其跟一般所说的普通BN的不同在于工程实现方式：SyncBN能够完美支持多卡训练，而普通BN在多卡模式下实际上就是单卡模式。 BN中有moving mean和moving variance这两个buffer，这两个buffer的更新依赖于当前训练轮次的batch数据的计算结果。但是在普通多卡D
转载
2023-09-05 14:38:11
215阅读
