文章目录一、背景二、方法2.1 Dense Detector2.2 Pseudo Label Assigner2.3 Epoch Adaptor三、效果 论文：Efficient Teacher: Semi-Supervised Object Detection for YOLOv5时间：2023.03一、背景目标检测近年来的进展离不开大量的标注数据，但数据标识昂贵且耗时。故此，半监督方法被提出
转载
2023-12-31 13:00:06
123阅读
Deep Graph Library（DGL） DGL是一个专门用于深度学习图形的Python包, 一款面向图神经网络以及图机器学习的全新框架, 简化了基于图形的神经网络的实现。 在设计上，DGL 秉承三项原则：DGL 必须和目前的主流的深度学习框架（PyTorch、MXNet、TensorFlow 等）无缝衔接。从而实现从传统的 tensor 运算到
# 半监督自训练算法及其在PyTorch中的实现
## 简介
随着深度学习的快速发展，我们在解决各种分类和预测任务时，发现标签数据的获取往往昂贵且耗时。半监督学习，尤其是自训练（Self-training）算法，成为了一个极具吸引力的方向。自训练算法通过利用未标记数据来增强模型的学习，提升分类性能。本文将介绍半监督自训练算法的基本原理，并提供一个使用PyTorch的简单实现示例。
## 半监
前言：《SESS: Self-Ensembling Semi-Supervised 3D Object Detection》CVPR2020 Oral 新加坡国立大学出品论文地址：https://openaccess.thecvf.com/content_CVPR_2020/papers/Zhao_SESS_Self-Ensembling_Semi-Supervised_3D_Objec
转载
2023-12-20 05:20:09
101阅读
一、SGAN介绍SGAN来源于这篇论文：《Semi-Supervised Learning with Generative Adversarial Networks》传统的机器学习分为监督式学习和无监督式学习。前者的数据是有标签的，后者的数据是无标签的。然而，在很多问题中，有标签的数据是非常少的，要想获得有标签的数据，需要人工标注等一些操作。而无标签的数据则比较容易获得。半监督学习就是要结合监督式
前言2019 年，Google 的研究团队提出了半监督学习技术MixMatch。MixMatch 可以认为是近几年半监督学习技术的集大成者，融入了Consistency Regulation、伪标签思想、entropy regularization 以及 MixUp 技术，最终实现了显著优于之前半监督学习技术的效果。目前半监督学习的几种方法：一个是熵最小化，也就是说，尽可能让模型对无标签样本的预测
转载
2023-12-20 21:58:51
78阅读
当涉及到机器学习分类任务时，用于训练算法的数据越多越好。在监督学习中，这些数据必须根据目标类进行标记，否则，这些算法将无法学习独立变量和目标变量之间的关系。但是，在构建用于分类的大型标记数据集时，会出现两个问题
转载
2021-07-16 13:45:01
425阅读
当涉及到机器学习分类任务时，用于训练算法的数据越多越好。在监督学习中，这些数据必须根据目标类进行标记，否则，这些算法将无法学习独立变量和目标变量之间的关系。但是，在构建用于分类的大型标记数据集时，会出现两个问题：标记数据可能很耗时。假设我们有1000000张狗图像，我们想将它们输入到分类算法中，目的是预测每个图像是否包含波士顿狗。如果我们想将所有这些图像用于监督分类任务，我们需要一个人查看每个图像并确定是否存在波士顿狗。 标记数据可能很昂贵。原因一：要想让人费尽心思去搜100万张狗狗照片，我们可能得掏
原创
2021-08-13 09:35:18
1058阅读
类的大型标记数据集时，会出现两个问题：
转载
2020-09-09 22:57:00
83阅读
2评论
文章目录参考资料1. 未标记样本1.1 主动学习1.2 常见假设1.3 半监督学习划分2. 生成式方法3. 半监督SVM4. 基于分歧的方法5. 半监督聚类5.1 Constrained k-means5.2 少量有标记样本 参考资料Machine-learning-learning-notesLeeML-NotesML-NLP 本博客是根据周志华的西瓜书和参考资料1、2、3所做的笔记，主要用于
转载
2024-04-27 16:22:36
124阅读
李宏毅机器学习系列-半监督学习什么是半监督学习半监督学习的假设生成模型上的半监督学习Low-density Separation非黑即白自学习熵正则化半监督SVMSmoothness Assumption(平滑假设)Better Representation总结 什么是半监督学习顾名思义应该是一般有标签，一般没标签吧，差不多，只是没标签的占大多数，比如下图，我们有6张图，只有两张是有标签的，另外
转载
2024-04-30 13:46:20
79阅读
半监督方法1 Pseudo Label Based Learninng1.1 Self-raining1.2 Pseudo label1.3 Noisy Student2 Consistency Based Learning2.1 π-model2.2 Temporal Ensembling2.3 Mean Teacher3 Hybrid Methods3.1 MixMatch3.2 FixMa
转载
2024-02-24 18:47:35
216阅读
半监督学习Positive-unlabeled learning什么是半监督学习让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能，就是半监督学习（semi-supervised learning）。 要利用未标记样本，必然要做一些将未标记样本所揭示的数据分布信息与类别标记相联系的假设。假设的本质是“相似的样本拥有相似的输出”。 半监督学习可进一步划分为纯（pure）半监督学习和直推学习（
转载
2024-04-03 15:15:27
99阅读
# 半监督训练在PyTorch中的实现指南
半监督学习是一种结合了有标签（labeled）和无标签（unlabeled）数据的训练方法，特别适合于只有一小部分数据是标注的场景。本文将引导你实现一个简单的半监督训练过程，使用PyTorch工具。
## 流程概述
在开始之前，了解实现半监督训练的整体流程是非常重要的。下面是实现半监督训练的步骤：
| 步骤 | 描述
半监督学习(Semi-supervised learning)综述1. 关于半监督学习半监督学习是机器学习的分支，主要利用有标签样本以及无标签样本用于用于特定学习的任务。如下图，半监督学习有利于获得更准确的分类边界。1.2 半监督学习的假设（1）平滑假设如何输入的两个点在输入空间是接近的，那个它们的标签是一致的。（2）低密度假设（3）流型假设2. 半监督学习的方法概览 半监督学习通常划分为归纳式（
转载
2024-05-05 21:12:22
59阅读
对于每个机器学习项目而言，数据是基础，是不可或缺的一部分。在本文中，作者将会展示一个名为伪标签的简单的半监督学习方法，它可以通过使用无标签数据来提高机器学习模型的性能。1. 什么是半监督学习 (SSL) ?假设我们目前面临一个简单的图像分类问题，我们的数据有两类标签（如下所示）。 我们的目标就是区分图像中有无日食，现在的问题就是如何仅从两幅图片的信息中构建一个分类系统。一般而
转载
2024-03-28 21:53:59
42阅读
半监督学习的工作原理想象一下，收集了大量未标记的数据，您想在这些数据上训练模型。手动标记所有这些信息可能会花费你一大笔钱，除了需要几个月的时间来完成注释。这时候半监督机器学习方法就派上用场了。工作原理很简单。无需将标签添加到整个数据集，而是仅对一小部分数据进行手工标记并使用它来训练模型，然后将其应用于未标记数据的海洋。自我训练一般来说，半监督学习最简单的例子之一就是自我训练。自我训练是您可以采用任
转载
2024-05-23 14:24:17
44阅读
半监督支持向量机（S3VMs） 今天我们主要介绍SVM分类器以及它的半监督形式S3VM，到这里我们关于半监督学习基础算法的介绍暂时告一段落了。之后小编还会以论文分享的形式介绍一些比较新的半监督学习算法。让我们开始今天的学习吧~引入 支持向量机（SVM）相信大家并不陌生吧？但是如果数据集中有大量无标签数据（如下图b），那么决策边界应该如何去确定呢？仅使用有标签数据学得的决策边界（如下图a）将穿过
转载
2023-11-16 17:30:46
119阅读
文章目录1 背景1.1 基本背景介绍1.2 基本假设2 问题描述2.1 主动学习与半监督学习【使用了未标记数据的学习划分为两种】3 方法介绍3.1 混合模型与EM算法（最大期望算法）3.1.1 GMM的引入单高斯模型（GSM）3.1.2 Gaussian mixture model(GMM)【生成式模型】3.1.3 估计单高斯分布的
转载
2023-12-04 16:46:51
380阅读
Motivations传统的训练方式需要针对不同 domain 的数据分别设计模型，十分繁琐（deploy costs）语义分割数据集标注十分昂贵，费时费力Contributions本文提出的统一模型可以实现跨领域统一训练模型使用少量的标注数据和大量未标注数据（半监督模型）网络架构/方法实现基本结构：一个encoder和n个decoder（decoder数量和domain的数量相同）基本设定：假设
转载
2024-05-11 19:45:32
105阅读
