无监督聚类评价指标，RI、ARI、MI、NMI等最近在看无监督学习聚类的评价指标，主要看了RI、ARI、MI、NMI，在此写下我自己对于这些指标的理解。**RI（Rand Index）**是比较两个聚类结果的参数，也可以比较一个聚类算法的结果和真实分类情况。他是将所有情况进行枚举，来 看看有所有pair在聚类算法1和聚类算法2中的情况一致。 Examples:比如有5个数据点，x是聚类1返回的结果
转载
2023-08-13 20:51:28
328阅读
首先我们要解决几个问题聚类算法主要包括哪些算法？主要包括：K-means、DBSCAN、Density Peaks聚类（局部密度聚类）、层次聚类、谱聚类。什么是无监督学习？• 无监督学习也是相对于有监督学习来说的，因为现实中遇到的大部分数据都是未标记的样本，要想通过有监督的学习就需要事先人为标注好样本标签，这个成本消耗、过程用时都很巨大，所以无监督学习就是使用无标签的样本找寻数据规律的一种方法•
转载
2024-05-30 13:32:49
47阅读
有监督分类学习算法的评价指标。例如：正确率、召回率、精准率、ROC曲线、AUC曲线。但是几乎没有任何教材上有明确的关于无监督聚类算法的评价指标！ 那么学术界到底有没有成熟公认的关于无监督聚类算法的评价指标呢？本文就是为了解决大家的这个疑惑而写的，并且事先明确的告诉大家，关于无监督聚类算法结果好坏的评价指标不仅有，而且还挺多的。
转载
2023-12-29 17:33:31
0阅读
KMeansKMeans属于无监督（即无标签）聚类算法，在不知道数据没有具体的划分标准时，通过物以类聚的方法，将相似数据放在一起。一、源码流程（一）首先随机生成一堆数据 ，尝试将这些数据进行聚类import random
import matplotlib.pyplot as plt
points_num = 100
random_x = [random.randint(-100, 100) f
转载
2024-03-15 20:07:51
24阅读
一、层次聚类简介层次聚类方法属于无监督学习，将数据集分成指定的聚类个数。 根据具体实现方法的不同，分为凝聚聚类（自底向上）、分裂聚类（自顶向下）1、凝聚聚类（自底向上）例如，AGNES，Agglomerative Nesting算法步骤：将每个样本点都看作一个独立的簇，计算所有簇之间的距离，找到距离最近的两个簇进行合并，，重复2，直到达到聚类个数或其他终止条件2、分裂聚类（自顶向下）例如，DIAN
转载
2023-11-06 13:03:11
120阅读
简介首先必须明确，分类和聚类是两个不同的东西。分类的目的是确认数据属于哪个类别。分类必须有明确的边界，或者说分类是有标准答案的。通过对已知分类数据进行训练和学习，找出已知分类特征，再对未知分类的数据进行分类。因此分类通常是有监督学习。聚类的目的是找出数据间的相似之处。聚类对边界的要求不是很高，是开放性命题。聚类只使用无标签数据，通过聚类分析将数据聚合成几个，因此采用无监督学习算法。 现
转载
2023-08-10 10:03:27
113阅读
目录1. 无监督学习与聚类算法2. KMeans2.1 KMeans是如何工作的2.2 簇内误差平方和的定义3. sklearn.cluster.KMeans3.1 重要参数 n_clusters3.2 重要属性 inertia_3.3 重要属性 cluster_centers_ 3.4 聚类观察 n_clusters3.5 聚类算法的模型评估指标3.6&n
转载
2024-01-27 21:10:41
297阅读
目录 二、Spectral Clustering 三、 Agglomerative Clustering (Hierarchical) -- Connectivity models四、 DBSCAN五、BIRCH 无监督聚类是一种机器学习技术，用于将数据分组成不同的类别，而无需提前标记或指导。在无监督聚类中，算法通过分析数据之间的相似性
转载
2024-07-10 18:52:44
59阅读
聚类聚类算法 kmeans原理：1、随机选取k个中心点；2、在第i次迭代中，对于每个样本点，选取最近的中心点，归为该类； 3、更新中心点为每类的均值； 4、i<-i+1 ,重复(2)(3)迭代更新，直至误差小到某个值或者到达一定的迭代步数，误差不变.在每次迭代之后，误差变小过程就是趋于收敛的过程；达到一定程度，误差不变，已经完成分类K-means优化函数不同的初始化中心点对聚类结果影响较大，
转载
2024-04-18 10:01:56
87阅读
## 无监督 NLP 聚类的实现
无监督学习是一种强大的工具，可以在没有标签数据的情况下对文本进行聚类。在这篇文章中，我将引导你完成无监督 NLP 聚类的整个流程。
### 流程步骤
以下是实现无监督 NLP 聚类的主要步骤：
| 步骤 | 说明 |
|----------------
一、非监督学习在有监督学习中，我们通过一个有标签的训练集，找到能够区分正样本和负样本的决策边界，通过一系列标签拟合一个假设函数。而非监督学习中，数据没有附带任何标签，我们要将一系列无标签的训练数据，输入到一个算法中，然后我们告诉这个算法，快去为我们找找这个数据的内在结构给定数据。这就需要某种算法帮助我们寻找这种结构。而能够把一个区域内的数据圈出一个个点集(簇)的算法，就是聚类算法。二、 K-均值算
转载
2024-08-15 10:47:38
112阅读
层次聚类算法1.定义2. 自底向上的合并算法2.1 计算过程2.2.两个组合数据点间的距离2.3实例 1.定义层次聚类(Hierarchical Clustering)属于聚类算法，通过计算不同类别数据点间的相似度来创建一棵有层次的嵌套聚类树。在聚类树中，不同类别的原始数据点是树的最低层，树的顶层是一个聚类的根节点。创建聚类树有自下而上合并和自上而下分裂两种方法。基于层次的聚类算法（Hierar
转载
2023-11-07 06:34:52
148阅读
无监督聚类评价指标 文章目录无监督聚类评价指标SEE、SC和CH 寻找k评价指标-轮廓系数法(SC)评价指标-CH系数法无监督聚类算法结果好坏的评价指标Compactness(紧密性)(CP)Separation(间隔性)(SP)Davies-Bouldin Index(戴维森堡丁指数)(分类适确性指标)(DB)(DBI)Dunn Validity Index (邓恩指数)(DVI)参考： SEE
转载
2023-07-28 13:00:57
405阅读
机器学习之无监督学习——聚类无监督学习一、基于划分的聚类方法1、基于划分的方法 简介A、概念B、分组C、分组与样本 对应关系D、硬聚类 与 软聚类二、基于层次的聚类方法1、基于层次的聚类方法 概念 :2、基于层次的聚类方法 :A、聚合层次聚类 ( 叶子节点到根节点 )聚合层次聚类 图示切割点说明B、划分层次聚类 ( 根节点到叶子节点 )划分层次聚类 图示切割点说明基于层次的聚类方法 切割点选取3
转载
2024-04-01 06:29:57
139阅读
无监督学习是一种对不含标记的数据建立模型的机器学习范式。 无监督学习应用领域： - 数据挖掘 - 医学影像 - 股票市场分析 - 计算机视觉 - 市场分析 最常见的无监督学习就是聚类。 聚类的定义：聚类就是对大量未知标注的数据集，按数据的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大而类别间的数据相似度较小 聚类的基本思想： 给定一个有N个对象的数据集，划分聚类技术将构
转载
2024-02-04 03:25:38
13阅读
1.聚类简介主要思想就是对一堆未标记的样本，进行相似度度量，然后进行分簇的过程。ps：聚类属于无监督学习。2.样本距离的度量闵可夫斯基距离：ps：当p = 负无穷时，公式变为样本特征差值最小的绝对值，（可以提出最小项，然后化简得出）。ps：当p = 1时，公式变为样本特征之间距离绝对值求和，又称曼哈顿距离。ps：当p = 2时，公式变为欧氏距离。（最熟悉的一种）ps：当p = 正无穷时，公式变为样
转载
2024-04-12 06:10:26
56阅读
无监督学习-聚类一、聚类，及常用的聚类统计量；聚类:聚类是针对给定的样本，根据据他们特征的相似度或者距离，将其归并到若干个"类"或"簇"的数据分析问题。一个类是样本的一个子集。直观上，相似的样本在相同的类，不相似的样本分散在不同的类。目的是通过得到的"类"或"簇"，来发现数据的特点或者对数据进行处理，在数据挖掘、模式识别等领域有着广泛的应用。属于无监督学习，只是根据样本的相似度或者距离将其进行划分
转载
2024-01-28 08:30:21
63阅读
有监督的分类算法的评价指标通常是accuracy, precision, recall, etc；由于聚类算法是无监督的学习算法，评价指标则没有那么简单了。因为聚类算法得到的类别实际上不能说明任何问题，除非这些类别的分布和样本的真实类别分布相似，或者聚类的结果满足某种假设，即同一类别中样本间的相似性高于不同类别间样本的相似性。聚类模型的评价指标如下：1. Adjusted Rand Index(兰
转载
2023-06-05 14:23:13
434阅读
序在用聚类算法时,其挑战之一就是很难评估一个算法的效果好坏,也很难比较不同算法的结果.在讨论完k均值,凝聚聚类和DBSCAN背后的算法之后,下面我们来说一下如何对聚类进行评估.用真实值评估聚类有一些指标可用于评估聚类算法相对于真实聚类的结果，其中最重要的是调整rand指数和归一化互信息。二者都给出了定量的度量，其最佳值为1，0表示不相关的聚类（虽然ARI可以取负值）。下面我们使用ARI来比较k均值
转载
2024-05-07 16:48:03
42阅读
决策树、线性和逻辑回归都是比较常用的机器器学习算法，他们虽然有着不不同的功能，但却都属于 “有监督学习” 的一部分，即是说，模型在训练的时候，即需要特征矩阵X，也需要真实标签y。机器器学习当中，还有相当一部分算法属于 “无监督学习” ，无监督的算法在训练的时候只需要特征矩阵X，不需要标签。无监督学习的代表算法有聚类算法、降维算法。聚类聚类分析提供由个别数据对象到数据对象所指派的簇的抽象。此外，一些
转载
2024-03-03 08:22:26
32阅读
