首先我们要解决几个问题聚类算法主要包括哪些算法？主要包括：K-means、DBSCAN、Density Peaks聚类（局部密度聚类）、层次聚类、谱聚类。什么是无监督学习？• 无监督学习也是相对于有监督学习来说的，因为现实中遇到的大部分数据都是未标记的样本，要想通过有监督的学习就需要事先人为标注好样本标签，这个成本消耗、过程用时都很巨大，所以无监督学习就是使用无标签的样本找寻数据规律的一种方法•
转载
2024-05-30 13:32:49
47阅读
## 无监督 NLP 聚类的实现
无监督学习是一种强大的工具，可以在没有标签数据的情况下对文本进行聚类。在这篇文章中，我将引导你完成无监督 NLP 聚类的整个流程。
### 流程步骤
以下是实现无监督 NLP 聚类的主要步骤：
| 步骤 | 说明 |
|----------------
有监督分类学习算法的评价指标。例如：正确率、召回率、精准率、ROC曲线、AUC曲线。但是几乎没有任何教材上有明确的关于无监督聚类算法的评价指标！ 那么学术界到底有没有成熟公认的关于无监督聚类算法的评价指标呢？本文就是为了解决大家的这个疑惑而写的，并且事先明确的告诉大家，关于无监督聚类算法结果好坏的评价指标不仅有，而且还挺多的。
转载
2023-12-29 17:33:31
0阅读
KMeansKMeans属于无监督（即无标签）聚类算法，在不知道数据没有具体的划分标准时，通过物以类聚的方法，将相似数据放在一起。一、源码流程（一）首先随机生成一堆数据 ，尝试将这些数据进行聚类import random
import matplotlib.pyplot as plt
points_num = 100
random_x = [random.randint(-100, 100) f
转载
2024-03-15 20:07:51
24阅读
聚类聚类算法 kmeans原理：1、随机选取k个中心点；2、在第i次迭代中，对于每个样本点，选取最近的中心点，归为该类； 3、更新中心点为每类的均值； 4、i<-i+1 ,重复(2)(3)迭代更新，直至误差小到某个值或者到达一定的迭代步数，误差不变.在每次迭代之后，误差变小过程就是趋于收敛的过程；达到一定程度，误差不变，已经完成分类K-means优化函数不同的初始化中心点对聚类结果影响较大，
转载
2024-04-18 10:01:56
87阅读
目录 二、Spectral Clustering 三、 Agglomerative Clustering (Hierarchical) -- Connectivity models四、 DBSCAN五、BIRCH 无监督聚类是一种机器学习技术，用于将数据分组成不同的类别，而无需提前标记或指导。在无监督聚类中，算法通过分析数据之间的相似性
转载
2024-07-10 18:52:44
59阅读
简介首先必须明确，分类和聚类是两个不同的东西。分类的目的是确认数据属于哪个类别。分类必须有明确的边界，或者说分类是有标准答案的。通过对已知分类数据进行训练和学习，找出已知分类特征，再对未知分类的数据进行分类。因此分类通常是有监督学习。聚类的目的是找出数据间的相似之处。聚类对边界的要求不是很高，是开放性命题。聚类只使用无标签数据，通过聚类分析将数据聚合成几个，因此采用无监督学习算法。 现
转载
2023-08-10 10:03:27
113阅读
层次聚类算法1.定义2. 自底向上的合并算法2.1 计算过程2.2.两个组合数据点间的距离2.3实例 1.定义层次聚类(Hierarchical Clustering)属于聚类算法，通过计算不同类别数据点间的相似度来创建一棵有层次的嵌套聚类树。在聚类树中，不同类别的原始数据点是树的最低层，树的顶层是一个聚类的根节点。创建聚类树有自下而上合并和自上而下分裂两种方法。基于层次的聚类算法（Hierar
转载
2023-11-07 06:34:52
148阅读
一、非监督学习在有监督学习中，我们通过一个有标签的训练集，找到能够区分正样本和负样本的决策边界，通过一系列标签拟合一个假设函数。而非监督学习中，数据没有附带任何标签，我们要将一系列无标签的训练数据，输入到一个算法中，然后我们告诉这个算法，快去为我们找找这个数据的内在结构给定数据。这就需要某种算法帮助我们寻找这种结构。而能够把一个区域内的数据圈出一个个点集(簇)的算法，就是聚类算法。二、 K-均值算
转载
2024-08-15 10:47:38
106阅读
无监督聚类评价指标，RI、ARI、MI、NMI等最近在看无监督学习聚类的评价指标，主要看了RI、ARI、MI、NMI，在此写下我自己对于这些指标的理解。**RI（Rand Index）**是比较两个聚类结果的参数，也可以比较一个聚类算法的结果和真实分类情况。他是将所有情况进行枚举，来 看看有所有pair在聚类算法1和聚类算法2中的情况一致。 Examples:比如有5个数据点，x是聚类1返回的结果
转载
2023-08-13 20:51:28
326阅读
、ROC-AUC等等，但聚类方法在大多数情况下数据是没有标签的，这些情况下聚类就不能使用以上的评价指标了。 聚类有自己的评价指标，大多数聚类的评价指标是通过紧凑性和可分性来定义的。紧凑性基本上是衡量一个聚类中的元素彼此之间的距离，而可分性表示不同聚类之间的距离，总的来说聚类的评价指标有以下三个类型：1､外部指标：这是处理有标签数据时使用的评分，可以说监督学习的评价指标都是外部指标。2､内部指标
转载
2023-09-18 06:36:18
207阅读
K-means算法 K-means算法是很典型的基于距离的聚类算法，算法采用误差平方和准则函数作为聚类准则函数，也是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means算法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最优分类，使得评价指标J最
转载
2024-05-09 11:10:28
50阅读
scikit-learn主要由分类、回归、聚类和降维四大部分组成，其中分类和回归属于有监督学习范畴，聚类属于无监督学习范畴，降维适用于有监督学习和无监督学习。scikit-learn的结构示意图如下所示： scikit-learn中的聚类算法主要有：K-Means(cluster.KMeans)AP聚类（cluster.AffinityPropagation）均值漂移（clust
转载
2023-08-07 15:23:54
211阅读
无监督学习基本概念监督学习与无监督学习聚类k-均值聚类k-均值算法关于聚类的k值选择关于聚类的初始划分关于聚类的距离计算关于聚类的终止条件举例k-均值算法的硬盘版本k-均值算法的优势与劣势k-均值算法总结聚类的表示聚类的一般表示方法层次聚类层次聚类的两种方法例子两个聚类之间的距离计算单链接方法全连接方法平均链接方法聚类中心方法复杂度距离函数混淆矩阵对称布尔属性举例非对称布尔属性数据标准化范围标准
一、层次聚类简介层次聚类方法属于无监督学习，将数据集分成指定的聚类个数。 根据具体实现方法的不同，分为凝聚聚类（自底向上）、分裂聚类（自顶向下）1、凝聚聚类（自底向上）例如，AGNES，Agglomerative Nesting算法步骤：将每个样本点都看作一个独立的簇，计算所有簇之间的距离，找到距离最近的两个簇进行合并，，重复2，直到达到聚类个数或其他终止条件2、分裂聚类（自顶向下）例如，DIAN
转载
2023-11-06 13:03:11
116阅读
目录1. 无监督学习与聚类算法2. KMeans2.1 KMeans是如何工作的2.2 簇内误差平方和的定义3. sklearn.cluster.KMeans3.1 重要参数 n_clusters3.2 重要属性 inertia_3.3 重要属性 cluster_centers_ 3.4 聚类观察 n_clusters3.5 聚类算法的模型评估指标3.6&n
转载
2024-01-27 21:10:41
297阅读
无监督算法简介就是依靠数据之间的相似度，形成数据的类别。（下图有些是网上扒的，如有侵权望告知，立删）层次聚类比如有7个数据点，A，B，C，D，E，F，G。我们采用数据的欧式距离作为相似度（距离越小越相似）： 将数据分别两两计算相似度： 得到BC的距离最小，这样我们就得到一个新的集合或者说是类：（B,C)。这样我们下一次计算相似度时，只有6个元素了：A，（B,C），D，E，F，G。然后两两计算相似度
转载
2024-08-20 20:23:38
13阅读
实战部分主要针对某一具体算法对其原理进行较为详细的介绍，然后进行简单地实现（可能对算法性能考虑欠缺），这一部分主要介绍一些常见的一些聚类算法。K-means聚类算法0.聚类算法算法简介 聚类算法算是机器学习中最为常见的一类算法，在无监督学习中，可以说聚类算法有着举足轻重的地位。 提到无监督学习，不同于前面介绍的有监督学习，无监督学习的数据没有对应的数据标签，我们只能从输入X中去进行一些知识发现
转载
2023-09-25 19:02:31
315阅读
文章目录一、无监督学习的目标1. 聚类(clustering)欧氏距离曼哈顿距离马氏距离夹角余弦sklearn中的聚类sklearn.cluster二、降维sklearn中的降维聚类和降维 一、无监督学习的目标利用无标签的数据学习数据的分布或数据与数据之间的关系被称作无监 督学习。有监督学习和无监督学习的最大区别在于数据是否有标签无监督学习最常应用的场景是聚类(clustering)和降维(Di
无监督聚类评价指标 文章目录无监督聚类评价指标SEE、SC和CH 寻找k评价指标-轮廓系数法(SC)评价指标-CH系数法无监督聚类算法结果好坏的评价指标Compactness(紧密性)(CP)Separation(间隔性)(SP)Davies-Bouldin Index(戴维森堡丁指数)(分类适确性指标)(DB)(DBI)Dunn Validity Index (邓恩指数)(DVI)参考： SEE
转载
2023-07-28 13:00:57
405阅读
