机器学习算法大体分为三类:监督学习(supervised learning)、无监督学习(unsupervised learning)和半监督学习(semi-supervised learning)。监督学习是指我们利用带有类别属性标注的数据去训练、学习,用于预测未知数据的类别属性。例如,根据用户之前的购物行为去预测用户是否会购买某一商品。常用的算法有决策树,支持向量机SVM,朴素贝叶斯分类器,K
转载
2024-06-22 10:14:32
18阅读
!阅读大概需要18分钟跟随小博主,每天进步一丢丢在实际业务中,对给定Query检索特定范围内的词是十分常见的需求。对于字面上的匹配总体来说并不复杂,但实际效果就仅限于有字符交集的词语。若是想要上升到语义之间有相关度,就可以化归为学术界常见的语义匹配的问题。然而,在实际工业界或项目中,或是限于经费,或是只是小试牛刀,没有标注好的语料进行训练,那么如何在无监督上把语义匹配玩转呢?最近我们请来了(曾经?
基于深度学习的三维点云智能分析——北京科技大学自动化系樊彬老师研究背景许多应用需要三维数据的理解机器人、增强现实、自动驾驶、医学图像处理(CT、核磁共振)广泛应用前景和现实的应用基础三维数据有多种表示方式:多视角图片体素网格mesh数据(工业界)深度图像(RGB-D)3D点云,是由原始传感器输出的3D数据,一般是激光雷达Li-Dar 数据格式简单:一组3D坐标+额外的属性上述的体素网格、mesh数
令人惊讶的是,尽管我们的世界几乎被数据所淹没,但很大一部分是未经标注未被整理过的,这意味着这些数据对于大多数目前的监督式学习来说是不可用的。 以上,反映出监督学习的局限性也突出无监督学习的重要性和发展前景,即便如此,目前而言,任何无监督学习的准确性和有效性也达不到监督学习的效果。 在介绍无监督学习之前,先介绍数据预处理。 1、数据预处理 通用代码 from sklearn.preprocessin
转载
2024-05-16 12:21:44
25阅读
1.理解分类与监督学习、聚类与无监督学习。简述分类与聚类的联系与区别。分类指监督学习,就是按照某种标准给对象贴标签,再根据标签来区分归类。聚类是指事先没有“标签”而通过某种成团分析找出事物之间存在聚集性原因的过程。指无监督学习,是指根据“物以类聚”的原理,将本身没有类别的样本聚集成不同的组,这样的一组数据对象的集合叫做簇,并且对每一个这样的簇进行描述的过程。区别是,分类是事先定义好类别 ,聚类则没
分词算法中,一般都需要一个词典,但这些词典往往很难覆盖所有的词,特别是在一些专业领域,甚至有超过40%的词都不在词典里面,这样首先就需要“学习”大量的新词,否则分词准确性很难提高,进一步的,有研究就干脆不要词典了,由算法自动从大量的语料中学得一个词典,这就是统计分词,或者成为无字典分词。一般就只预设一个小规模的词典,
转载
2024-05-06 19:18:52
52阅读
作者 | 程明明 编辑 | CVer
大规模无监督语义分割
引言语义分割是计算机视觉领域中被广泛关注的一个研究方向,其旨在针对图像中每一个像素进行分类。由于语义分割的固有挑战,目前大多数工作都关注于多样性受限(例如几十类)且数据规模受限场景的语义分割。尽管许多方法在这些受限的场景中取得了显著的效果,但是面对现实世界中常用的几百上千类物体规模带
转载
2024-04-20 20:37:46
56阅读
迄今为止,前四篇文章已经介绍了分词的若干思路,其中有基于最大概率的查词典方法、基于HMM或LSTM的字标注方法等。这些都是已有的研究方法了,笔者所做的就只是总结工作而已。查词典方法和字标注各有各的好处,我一直在想,能不能给出一种只需要大规模语料来训练的无监督分词模型呢?也就是说,怎么切分,应该是由语料来决定的,跟语言本身没关系。说白了,只要足够多语料,就可以告诉我们怎么分词。 看上去很完美,可
转载
2024-05-13 12:09:15
85阅读
点云分割 点云分割可谓点云处理的精髓,也是三维图像相对二维图像最大优势的体现。 点云分割的目的是提取点云中的不同物体,从而实现分而治之,突出重点,单独处理的目的。而在现实点云数据中,往往对场景中的物体有一定先验知识。比如:桌面墙面多半是大平面,桌上的罐子应该是圆柱体,长方体的盒子可能是牛奶盒......对于复杂场景中的物体,其几何外形可以归结于简单的几何形状。这为分割带来了巨大的便利,因为简单
《Python机器学习基础教程》笔记预处理步骤,有时可以提高监督算法的精度,或者减少内存占用和时间开销。不过评估无监督算法却没有什么好方法,唯一的方法就是人工检查。一、无监督学习的分类无监督学习主要有两种类型:数据集变换与聚类。数据集变换:数据集的无监督变换是创建数据新的表示,与数据原始表示相比,新的表示可能更容易被人或其他机器学习算法所理解。利用无监督学习进行数据变换最常见的目的就是可视化、压缩
转载
2023-12-31 17:00:07
69阅读
PiCIE: Unsupervised Semantic Segmentation using Invariance and Equivariance in Clustering 论文解读和感想背景和动机本文21年上旬发表于CVPR的关于无监督语义分割的文章。我个人不是专门做语义分割领域的,感觉无监督语义分割还是一块待开垦的沃土,做语义分割的小伙伴们可以尝试这个方向。首先本文针对之前无监督语义分割
文章目录简介环境项目文件环境准备spconvpointgroup_ops数据集下载脚本下载数据集划分数据集训练测试&可视化可视化 简介分类(Classify)和分割(Segment)是视觉中两个典型的任务, 而分割又可以细分为语义分割(Semantic Segmentation)和实例分割(Instance Segmantation). 区别在于, 语义分割将输入中的目标分成个类别, 输
转载
2023-09-06 11:04:43
770阅读
无监督学习(弱监督学习)让模型对输入的数据进行特征提取,从而实现无标签学习(无监督学习) 本质是编码,解码的过程。让模型在卷积编码(下采样)、卷积解码(上采样)的过程中。自我总结特征目前常用于图像分割 (ps:图像分割又分为三种:普通分割、 语义分割、实例分割。此处的无监督学习现用于普通分割)编码解码器的结构,可以类似为一种无监督神经网络,每层结构类似(顺序不能变): 卷积 + BtachNorm
简单介绍在众多聚类算法中,K-Means 算得上是其中一个经典的算法之一了,它属于无监督学习成员的er import KMeansimg = cv2.
原创
2022-06-27 15:42:54
262阅读
结巴分词系统中实现了两种关键词抽取法,一种是TF-IDF关键词抽取算法另一种是TextRank关键词抽取算法,它们都是无监督的算法。以下是两种算法的使用:#-*- coding:utf-8 -*-
from __future__ import unicode_literals
import jieba.analyse
import jieba
s='gStore 是一个基于图的 RDF 数据管理
转载
2024-09-23 12:52:59
46阅读
k-means聚类算法k-means算法属于无监督学习的一种聚类算法,其目的为:在不知数据所属类别及类别数量的前提下,依据数据自身所暗含的特点对数据进行聚类。对于聚类过程中类别数量k的选取,需要一定的先验知识,也可根据“类内间距小,类间间距大“(一种聚类算法的理想情况)为目标进行实现。需要用到sklearn库,scikit-learn是Python的一个开源机器学习模块,它建立在NumPy,Sci
转载
2024-01-10 14:58:38
109阅读
无监督图像分类技术1.基于深度学习参考论文:A survey on Semi-, Self- and Unsupervised Techniques in Image Classification1.1 目标leverage unlabeled data in numerous ways:semi-supervisedself-supervisedweakly-supervised or metr
转载
2024-03-06 08:06:29
85阅读
PointNet解决的问题:如上图所示:1.点云图像的分类(整片点云是什么物体)2.点云图像的部件分割(整片点云所代表的物体能拆分的结构)3.点云图像的语义分割(将三维点云环境中不同的物体用不同的颜色区分开)论文中展示的输入输出效果:1.部件分割的效果(左边是输入不完整的点云,右边是输入完整的点云)2.语义分割的效果 论文中提到的点云的三个特性:1.点的无序性:点云是无序的集合,点与点之
1. 无监督学习机器学习算法可分为监督学习(Supervised learning)和无监督学习(Unsupervised learning)。监督学习常用于分类和预测。数据集中的所有变量被分为特征和目标,对应模型的输入和输出;数据集被分为训练集和测试集,分别用于训练模型和模型测试与评估。常见的监督学习算法有Regression(回归)、KNN和SVM(分类)。无监督学习常用于聚类。输入数据没有标
转载
2024-06-18 15:14:57
104阅读
介绍OpenCV是一个用于图像处理、分析、机器视觉方面的开源函数库。该库的所有代码都经过优化,计算效率很高,因为,它更专注于设计成为一种用于实时系统的开源库。opencv采用C语言进行优化,而且,在多核机器上面,其运行速度会更快。它的一个目标是提供友好的机器视觉接口函数,从而使得复杂的机器视觉产品可以加速面世。该库包含了横跨工业产品检测、医学图像处理、安防、用户界面、摄像头标定、三维成像、机器视觉
转载
2024-04-24 11:06:31
42阅读