目录1.准备可复现的随机数据2.实现并训练模型2.1定义模型2.2搭建并训练模型2.3评估及使用模型 1.准备可复现的随机数据可复现是指：一个程序在相同设备上多次运行，可以得到相同的结果。在调试程序过程中，常使用这种方式来复现问题，方便地找出上一次运行时所出现的问题。 具体做法是，在程序开始时固定torch的随机数种子，并固定numpy的随机数种子。import torch
import num
转载
2023-12-20 06:04:52
176阅读
示例一：可以进行相加的tensorfrom __future__ import print_function
import torch # 找不到torch模块是因为对应的解释器中没有torch模块
# File-Settings-grammer_learning-Project Interpreter:进行更换即可
x=torch.empty((6,1,2))
z=torch.empty((
转载
2024-01-31 16:06:22
127阅读
文章目录前言Inplace操作概述inplace操作的优缺点常见的inplace操作总结参考链接 前言之前在写训练代码时，遇到了inplace operation导致的问题，所以就了解了一下pytorch的inplace operation，在此记录一下inplace操作的一些知识。报错信息如下：RuntimeError: one of the variables needed for grad
转载
2023-07-13 11:05:50
308阅读
# 如何实现"pytorch infonce"
## 流程图
```mermaid
journey
title 整件事情的流程
section 步骤
开始 --> 下载数据 --> 数据预处理 --> 构建模型 --> 模型训练 --> 模型评估 --> 完成
```
## 步骤及代码解析
### 1. 下载数据
首先，我们需要下载数据集，可以使用`tor
原创
2024-03-11 04:29:04
179阅读
# 使用infoNCE损失函数进行无监督学习的介绍
在无监督学习中，我们通常没有标签来指导我们的模型训练。因此，如何设计一个有效的损失函数来进行无监督学习是一个重要的问题。InfoNCE（Noise Contrastive Estimation of Mutual Information）损失函数是一种用于无监督学习的方法，可以用于训练对比学习模型。本文将详细介绍infoNCE损失函数的原理，并
原创
2023-12-24 09:06:25
3451阅读
点赞
最近看文献一直看到这个损失函数，索性记录一下。 这里写目录标题1. 总述2. 损失函数形式3. 小结4. 个人看法 1. 总述Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。2. 损失函数形式Focal loss是在交叉熵损失函数基础上进行的修改，首先回顾二分类交叉上损失：是经
开篇几句题外话：以往的代码，都是随便看看就过去了，没有这样较真过，以至于看了很久的深度学习和Python，都没有能够形成编程能力；这次算是废寝忘食的深入进去了，踏实地把每一个代码都理解透，包括其中的数学原理（目前涉及的还很浅）和代码语句实现的功能；也是得益于疫情封闭在寝室，才有如此踏实的心情和宽松的时间，最重要的是周边的环境，没有干扰。Lecture03——Gradient Descent 梯度下
在本博文中，我将详细记录如何使用 PyTorch 计算 InfoNCE（Information Noise Contrastive Estimation）。InfoNCE 是一种对比学习的方法，广泛应用于无监督学习中的表示学习。在这个过程中，我将分步指导你搭建环境、配置参数、验证模型性能，并提供一些优化技巧和扩展应用的建议。
## 环境准备
在开始之前，我们需要确保我们的硬件与软件环境满足以下
众所周知，Scikit-learn(以前称为scikits.learn)是一个用于Python编程语言的免费软件机器学习库。它具有各种分类，回归和聚类算法，包括支持向量机，随机森林，梯度增强，k-means和DBSCAN，旨在与Python数值和科学库NumPy和SciPy互操作。本文将带你入门常见的机器学习分类算法——逻辑回归、朴素贝叶斯、KNN、SVM、决策树。逻辑回归 (Logis
前言针对目标检测框Box(x1,y1,x2,y2)的回归学习中，网络损失函数从最早的IoU到GIoU，再到DIoU、CIoU和EIoU，现在出现了SIoU。那么他们都是什么呢？又由哪些优点？正文IOU就是交并比，预测框和真实框相交区域面积和合并区域面积的比值，计算公式如下： 优点：1、能够很好的反映重合度；2、具有尺度不变形 缺点：不相交时，值为0，无法反映中心距离GIoU克服了两个框不相交时Io
转载
2024-10-13 10:10:48
716阅读
YOLOV5中损失函数即代码讲解 YOLOV5中loss.py文件代码讲解： yolov5中一共存在三种损失函数： 分类损失cls_loss：计算锚框与对应的标定分类是否正确 定位损失box_loss：预测框与标定框之间的误差（CIoU） 置信度损失obj_loss：计算网络的置信度 通过交叉熵损失函数与对数损失的结合来计算定位损失以及分类损失。class BCEBlurWithLogitsLos
转载
2024-01-20 22:37:50
772阅读
1.总述Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。2.损失函数形式 y`是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优
转载
2024-09-10 16:28:48
41阅读
# 信息归一化互信息估计（InfoNCE）函数在自监督学习中的应用
在自监督学习中，信息归一化互信息估计（InfoNCE）函数是一种常用的损失函数，用于度量模型学习到的表示在不同视图下的相似性。通过最大化正样本之间的相似性，最小化负样本之间的相似性，模型可以学习到更具有判别性的表示。
## InfoNCE函数原理
InfoNCE函数可以用以下数学公式表示：
$$
\text{InfoNCE
原创
2024-05-26 05:44:47
1135阅读
Representation Learning with Contrastive Predictive Coding(CPC) 论文链接 Motivation Predict the future->Good Representation->Mutual Information 也就是说想要得到好的 ...
转载
2021-10-26 15:29:00
1254阅读
2评论
文章目录一、前言二、CFOG原理三、实验结果四、总结五、知识产权 一、前言上一节我们介绍了HOPC匹配算法，该算法可以实现可见光、红外、SAR、LiDAR和地图等多种多模态遥感影像的自动配准，但是该方法计算效率较低，不能很好满足实时处理的需要。因此，我们介绍一种HOPC的改进算法，名为方向梯度特征通道（Chanel Feature of Orientated Gradient，CFOG），该算法
关于NCE loss：知乎上的一些介绍的文字 https://zhuanlan.zhihu.com/p/58369131
github上的介绍文字：https://leimao.github.io/article/Noise-Contrastive-Estimation/
NCE bridges the gap between generative models and discriminati
原创
2021-06-29 14:44:57
8694阅读
1. 函数汇总Tensor 的基本运算会对 tensor 的每一个元素进行操作，此类操作的输入与输出形状一致，常用操作见下表所示。 对于很多操作，例如 div、mul、pow、fmod、等， PyTorch 都实现了运算符重载，所以可以直接使用运算符，如 a ** 2 等价于 torch.pow(a, 2), a *2 等价于 torch.mul(a, 2)。2. 函数功能2.1 torch.ab
转载
2024-06-09 13:15:30
54阅读
convolution参数详解以2d卷积为例torch.nn.Conv2d(in_channels,
out_channels,
kernel_size,
stride=1,
padding=0,
dilation=1,
转载
2023-07-04 17:21:19
164阅读
我们经常会看到后缀名为.pt, .pth, .pkl的pytorch模型文件，这几种模型文件在格式上有什么区别吗？其实它们并不是在格式上有区别，只是后缀不同而已(仅此而已)，在用torch.save()函数保存模型文件时，各人有不同的喜好，有些人喜欢用.pt后缀，有些人喜欢用.pth或.pkl.用相同的torch.save()语句保存出来的模型文件没有什么不同。在pytorch官方的文档/代码里，
转载
2023-08-17 16:52:01
102阅读
文章目录前言一、统计1.范数norm2.max/min/mean/sum/prod3.argmax/argmin/dim/keepdim4.Topk/kthvalue5.比较/eq/equal一、高级操作where/gather1.条件where2.gather总结 前言Pytorch学习笔记第四篇，关于Tensor的统计（max、min、mean等）、where、gather。一、统计1
转载
2023-11-02 06:48:23
62阅读
