1 什么是无监督学习现实生活中常常会有这样的问题：缺乏足够的先验知识，因此难以人工标注类别或进行人工类别标注的成本太高。很自然地，我们希望计算机能代我们完成这些工作，或至少提供一些帮助。根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。一家广告平台需要根据相似的人口学特征和购买习惯将美国人口分成不同的小组，以便广告客户可以通过有关联的广告接触到他们的目标客户。某个人需
转载
2024-04-25 13:55:18
128阅读
图神经网络的相关知识机器学习的分类按有无标签分类监督学习监督学习指的是每个训练数据的样本都有标签，通过标签可以指导模型进行学习，学到具有判别性的特征，然后对未知样本进行预测。翻译成人话：班里的人分为内卷人和摆烂人，有一个机器会自动观察内卷人的成绩和摆烂人的成绩，等观察的人够多了之后，他就可以根据成绩判断哪个是摆烂人哪个是内卷人，这样机器看到小废物rytter的成绩后就能判断出rytter是个摆烂人
转载
2023-10-19 10:54:25
122阅读
文章目录前言一、数据介绍二、实验代码1.将语料转存为文本2.用Kenlm统计ngram3.加载Kenlm的ngram统计结果4.过滤ngram5.构建字典树，做预分词，得到候选词6.候选词回溯7.输出结果文件 前言 这篇文章是对发现新词 | NLP之无监督方式构建词库(三)的性能优化。主要改动包括如下两个方面：1、使用了语言模型工具kenlm的count_ngrams程序来统计ngram。由于
转载
2024-03-08 08:48:34
77阅读
自从ICML2017的Model-Agnostic Meta-Learning (MAML)以及NIPS17的Prototypical Networks (ProtoNet)等paper出现之后，一系列meta learning以及few-shot learning的paper如雨后春笋般涌现出来。同时，常用的几个数据集Omniglot、miniImagenet、tieredImagenet的
1.2 无监督学习和强化学习无监督学习定义无监督学习与监督学习的区别相关概念流程图强化学习 无监督学习定义 无监督学习 (Unsupervised Learning）是指从无标注数据中学习预测模型的机器学习问题，其本质是学习数据中的统计规律或潜在结构。无监督学习与监督学习的区别 监督学习： 标注数据：表示输入输出的对应关系 预测模型：对给定的输入产生相应的输出 本质：学习输入到输出的映射的统计规
开放领域的人机对话在过去几年中受到越来越多研究者的关注。然而，对于开放领域的对话系统不存在一个标准的自动评测方法，研究人员通常采用人工标注来评估其模型，这种方法不仅耗时而且不能很好的扩展。在本文中我们提出一种结合无参考回复和有参考回复的评测方法，该方法同时考虑问题（先前用户的话语）和参考回复来对生成的回复进行评测，我们将该指标称之为 RUBER (a Referenced metric
转载
2024-07-22 20:12:59
53阅读
一、卷积神经网络基本概念 卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一，是深度学习算法在图像处理领域的一个应用。 机器学习分类：监督学习（分类，回归），无监督学习（聚类，降维），强化学习，半监督学习
转载
2024-05-21 21:27:48
986阅读
如何定义自监督学习？自监督学习是指用于机器学习的标注（ground truth）源于数据本身，而非来自人工标注。如下图，自监督学习首先属于无监督学习，因此其学习的目标无需人工标注。其次，目前的自监督学习领域可大致分为两个分支。第一个是用于解决特定任务的自监督学习，例如上次讨论的场景去遮挡，以及自监督的深度估计、光流估计、图像关联点匹配等。另一个分支则用于表征学习。有监督的表征学习，一个典型的例子是
转载
2024-08-01 21:05:14
122阅读
1评论
目录前言：标签名称替换类别预测自训练总结前言：在训练模型的时候，比如分类任务等等，都需要有标签数据进行监督学习，即使是要少量的标签数据，也可采用半监督的方式来提高模型的泛化性，关于一些最新的半监督学习可以参看笔者另一篇博客：但是今天要分享的这篇论文是EMNLP20论文《Text Classification Using Label Names Only: A Language Model Self
文章目录一、数据介绍及处理二、寻找未登录词1.统计语料库中的词信息2.利用互信息熵得到初始化词库3.对语料库进行切分4.利用搜索引擎判断新词5.迭代寻找新词6.方法总结 一、数据介绍及处理 本文以电商领域的商品名称为语料进行实验，来寻找未登录词。 首先，将json格式的数据，提取其goods_name列，写入到txt文件中。import pandas as pd
"""
将数据中
转载
2024-04-25 13:03:06
44阅读
机器学习之无监督学习——聚类无监督学习一、基于划分的聚类方法1、基于划分的方法 简介A、概念B、分组C、分组与样本 对应关系D、硬聚类 与 软聚类二、基于层次的聚类方法1、基于层次的聚类方法 概念 :2、基于层次的聚类方法 :A、聚合层次聚类 ( 叶子节点到根节点 )聚合层次聚类 图示切割点说明B、划分层次聚类 ( 根节点到叶子节点 )划分层次聚类 图示切割点说明基于层次的聚类方法 切割点选取3
转载
2024-04-01 06:29:57
139阅读
0 摘要DCGANs，如作者描述 ，“have certain architectural constraints”，即设计原则依赖大量的尝试。 无监督学习到的特征，可作为通用图像表征。1 介绍2 相关工作2.1 在无标注数据中学习表征即无监督表征学习，其中，K-means就是一种经典方法。 在神经网络中，自编码器auto-encoder也是一种流行方法。2.2 生成自然图像生成图像模型分为参数和
Google提出的BERT（Bidirectional Encoder Representations from Transformers）是现在自然语言处理领域里当之无愧的王者，但是在阅读这篇文献的时候，总有一种和传统自然语言技术断层的感觉。通过研究OpenAI GPT后才恍然大悟，原来这才是其中的桥梁：BERT的思想启发自OpenAI GPT，并应用了transformer的强大处理能力，结合
转载
2024-10-22 09:34:15
57阅读
一、K-means算法简介 1.1、基本原理和思想 K-means算法是基于数据划分的无监督聚类算法，是数据挖掘领域的十大算法之一。其中K表示类别数，means表示均值。K-means是一种通过均值对数据点进行聚类的算法。它不需要给训练数据打上标签。直接预设一个分类个数K即可，然后数据会利用K-means算法自动划分K个类别。K-means算法通过预先设定的K值及每个类别的初始质心对相似的
总览之前我们讲的网络模型都是监督学习，这一讲我们要讲的是无监督学习。以下是本讲的总览无监督学习与监督学习最大的不同就是我们只有数据，没有任何多余的标注，我们要做的就是学习数据中隐藏的某些结构。而生成模型就属于无监督学习的一种生成模型生成模型的目标是给定训练数据，希望能获得与训练数据相同的新数据样本。我们的目标是找到训练数据的分布函数生成模型在很多场景有非常好的应用我们可以对生成模型进行分类，在本讲
转载
2024-09-12 08:54:24
242阅读
—— 原文发布于本人的微信公众号“大数据与人工智能Lab”（BigdataAILab），欢迎关注。 2012年，Alex Krizhevsky、Ilya Sutskever在多伦多大学Geoff Hinton的实验室设计出了一个深层的卷积神经网络AlexNet，夺得了2012年ImageNet LSVRC的冠军，且准确率远超第二名（top5错误率为15.3%，第二名为26.2%），引
转载
2024-08-08 12:12:31
37阅读
背景：这篇文章发在ICML2018上，是图像领域的重要的论文。训练图像去噪不需要无噪的原图像，非常具有参考意义。目的：读懂并解析论文。论文地址：https://arxiv.org/abs/1803.04189源码地址：https://github.com/NVlabs/noise2noise目录一、摘要与背景1.1 贡献点1.2 问题描述二、理论背景2.1 问题描述2.2 神经网络下的问题描述2.
转载
2024-08-03 23:12:17
288阅读
用深度卷积生成对抗网络进行无监督表示学习摘要近年来，监督学习的卷积网络（CNN）在计算机视觉应用中有着广泛的应用。相比之下，无监督的卷积网络CNN学习受到的关注较少。在这项工作中，我们希望可以帮助缩小有监督学习的CNN和无监督学习的CNN成功之间的差距。我们介绍了一类CNN叫做深度卷积生成对抗网络（DCCNG），它具有一定的架构约束，表明它们是非监督学习的有力候选。对各种图像数据集进行训练，我们展
转载
2023-12-26 11:52:38
161阅读
目录一 无监督学习二 聚类三 降维四 概率模型估计五 无监督学习的三要素六 实例1 关于聚类2 关于降维3 话题分析4 图分析一 无监督学习 使用无标注数据 学习或训练，由特征向量组成 无监督学习的模型是函数
机器学习—无监督学习-KNN算法1.KNN算法是什么？ KNN算法是一种监督式学习算法，核心思想是用距离最近的k个样本数据的分类来代表目标数据的分类。从原理上来说， 存在一个训练样本集，这个数据训练样本的数据集合中的每个样本都包含数据的特征和目标变量（即分类值），输入新的不含目标变量的数据，将该数据的特征与训练样本集中每一个样本进行比较，找到最相似的k个数据，这k个数据出席那次数最多的分类，即输入
