机器学习--聚类一、无监督学习二、KMeans聚类2.1 概览2.2 理论介绍2.2.1 模型2.2.2 策略2.2.3 算法2.3 案例讲解2.4 Python实现2.4.1 导入数据处理相关库以及读取数据2.4.2 查看相关数据并进行可视化展示2.4.3 导入sklearn并训练模型2.4.4 评估模型三、常用的其他聚类算法3.1 均值漂移聚类（Meanshift）3.2 DBSCAN算法（
# PySpark KMeans算法
## 介绍
KMeans是一种常用的聚类算法，它将数据点划分到具有相似特征的k个簇中。PySpark是Apache Spark的Python API，它提供了一个分布式计算框架，可用于处理大规模数据集。
本文将介绍如何使用PySpark中的KMeans算法进行聚类，并给出相应的代码示例。
## KMeans算法原理
KMeans算法的原理非常简单。它
原创
2024-01-08 09:19:44
91阅读
1. PageRank的两种串行迭代求解算法我们在博客《数值分析：幂迭代和PageRank算法(Numpy实现)》算法中提到过用幂法求解PageRank。 给定有向图我们可以写出其马尔科夫概率转移矩阵\(M\)(第\(i\)列对应对\(i\)节点的邻居并沿列归一化)\[\left(\begin{array}{lll} 0 & 0 & 1 \\ \frac{1}{2} & 0
使用PySpark的机器学习1.创建特征2. 使用字符串索引3.分类算法*1. 贝叶斯分类器**2. 多层感知器分类**3.决策树分类*4.回归模型1.线性模型2. 决策树回归*3. 梯度增强决策树* 分类和回归ML库在Spark的帮助下，从UCI机器学习知识库开源数据集。iris数据集(https://archive.ics.uci.edu/ml/machine-learning-databa
机器学习练习 7 - K-means实现K-means聚类，并使用它来压缩图像。 我们将从一个简单的2D数据集开始，以了解K-means是如何工作的，然后我们将其应用于图像压缩。 我们还将对主成分分析进行实验，并了解如何使用它来找到面部图像的低维表示。kmeans实施和应用K-means到一个简单的二维数据集，以获得一些直观的工作原理。 K-means是一个迭代的，无监督的聚类算法，将类似的实例组
4.1、摘要 在前面的文章中，介绍了三种常见的分类算法。分类作为一种监督学习方法，要求必须事先明确知道各个类别的信息，并且断言所有待分类项都有一个类别与之对应。但是很多时候上述条件得不到满足，尤其是在处理海量数据的时候，如果通过预处理使得数据满足分类算法的要求，则代价非常大，这时候可以考虑使用聚类算法。聚类属于无监督学习，相比于分类，聚类
聚类分类（class）与聚类（cluster）不同，分类是有监督学习模型，聚类属于无监督学习模型。聚类讲究使用一些算法把样本划分为n个群落。一般情况下，这种算法都需要计算欧氏距离。欧氏距离即欧几里得距离。 用两个样本对应特征值之差的平方和之平方根，即欧氏距离，来表示这两个样本的相似性。K均值算法第一步：随机选择k个样本作为k个聚类的中心，计算每个样本到各个聚类中心的欧氏距离，将该样本分配到与之距离
一、理论准备1.1、图像分割图像分割是图像处理中的一种方法，图像分割是指将一幅图像分解成若干互不相交区域的集合，其实质可以看成是一种像素的聚类过程。通常使用到的图像分割的方法可以分为：基于边缘的技术基于区域的技术基于聚类算法的图像分割属于基于区域的技术。1.2、K-Means算法K-Means算法是基于距离相似性的聚类算法，通过比较样本之间的相似性，将形式的样本划分到同一个类别中，K-Means算
转载
2023-07-05 22:37:06
84阅读
聚类（Clustering）指的是一种学习方式，即把物理或抽象对象的集合分组为由彼此类似的对象组成的多个类的分析过程。注：本文中用到的Python及其模块安装教程参见#K-Means算法在聚类中K-Means算法是很常用的一个算法，也是基于向量距离来做聚类。算法步骤如下：从n个向量对象中选择任意k个向量作为初始聚类中心。根据在步骤1中设置的k个向量（中心对象向量），计算每个对象与这k个中心对象各自
我是一个python小白，借着学习掌握机器学习算法的心情，学习应用下python，记录下来，分享一下，更好意见欢迎交流。kmeans算法的基本思路
kmeans是把D中的对象分配到k个簇C1,C2,...,Ck 中，用一个目标函数来评估划分的质量，使得簇内对象相互相似，而与其他簇中对象互异。如何度量事物的相似性有距离度量的算法，比如欧式距离，编辑距离等，相似度的算法有余弦相似度，皮尔逊系数等
转载
2024-10-23 22:30:58
20阅读
本文基于Spark 1.6.3KMeans介绍K-Means算法是一种基于距离的聚类算法，采用迭代的方法，计算出K个聚类中心，把若干个点聚成K类。 具体的数学推演可以参考这两篇：基本Kmeans算法介绍及其实现K-means聚类算法MLlib 中KMeans 实现介绍MLlib实现K-Means算法的原理是，运行多个K-Means算法，每个称为run，返回最好的那个聚类的类簇中心。初始的类簇中心，
转载
2024-07-06 09:52:07
59阅读
我将TFIDF应用于文本文档，其中我得到不同长度的n维向量，每个向量对应于一个文档。texts = [[token for token in text if frequency[token] > 1] for text in texts]
dictionary = corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for
转载
2023-06-21 22:00:02
287阅读
1、问题导入假如有这样一种情况，在一天你想去某个城市旅游，这个城市里你想去的有70个地方，现在你只有每一个地方的地址，这个地址列表很长，有70个位置。事先肯定要做好攻略，你要把一些比较接近的地方放在一起组成一组，这样就可以安排交通工具抵达这些组的“某个地址”，然后步行到每个组内的地址。那么，如何确定这些组，如何确定这些组的“某个地址”？答案就是聚类。而本文所提供的k-means聚类分析方法就可以用
算法简述K-means 算法原理我们假定给定数据样本 X ，包含了 n 个对象 ，其中每一个对象都具有 m 个维度的属性。而 K-means 算法的目标就是将 n 个对象依据对象间的相似性聚集到指定的 k 个类簇中，每个对象属于且仅属于一个其到类簇中心距离最小的类簇中。对于 K-means 算法，首先需要初始化 k 个聚类中心 , 然后通过计算每一个对象到每一个聚类中心的欧式距离，如下式
转载
2024-10-11 12:15:48
481阅读
以上包括了高斯混合模型的原理，公式推导过程，完整的代码实现，以及高斯概率密度公式的例子解析。 02—二维高斯分布聚类数据生成在此不再将完整的代码黏贴上，有需要的请参考上个推送或者在微信或QQ群中和我要Jupyter NoteBook的实现代码。下面仍然借助sklearn的高斯分布的数据簇生成功能，注意参数n_features的含义是生成2维（2个特征）的数据集。 x,label =
转载
2024-04-23 16:28:53
140阅读
**
K-means算法-JAVA实现
**
从D中随机取k个元素，作为k个簇的各自的中心。
分别计算剩下的元素到k个簇中心的相异度，将这些元素分别划归到相异度最低的簇。
根据聚类结果，重新计算k个簇各自的中心，计算方法是取簇中所有元素各自维度的算术平均数。
将D中全部元素按照新的中心重新聚类。
重复第4步，直到聚类结果不再变化。
将结果输出。**
一.编程实现
%% Kmeans算法
转载
2024-05-08 20:18:52
73阅读
十大算法 —— K均值聚类1、基本介绍（1）概述：K-均值聚类是一种动态聚类的方法。其主要适用于分类问题。该算法给出一组对象（记录），聚类或分类的目标是把这些对象分割成组或集群，使得这些对象相比于组间，在组内更趋于相似。K-均值聚类是一种无监督学习的方法，因为不需要事先标记的数据。K-均值算法在实践中容易实施和运行，速度相对较快，算法内容也非常容易修改。（2）优点[1][2][3]（3）缺点[1]
转载
2024-06-28 06:56:47
65阅读
在进一步讨论如何在有限空间内实现多维分析的预汇总之前，我们有必要再了解一下预汇总方案还有什么功能上的不足，也就是要搞清还有什么查询需求很可能无法通过预汇总数据获取。1. 非常规聚合预汇总方案是将测度聚合值先计算好并存储起来，那么，显然，在预汇总阶段没有想到的测度聚合值就无法直接从预总汇的数据中查询出来了。比如，如果我们只存储了销售额的合计值，而没有存储最大值，那就无法直接查询出来了。SQL 提供了
转载
2024-05-16 11:03:27
119阅读
k-means是一种聚类算法，这种算法是依赖于点的邻域来决定哪些点应该分在一个组中。当一堆点都靠的比较近，那这堆点应该是分到同一组。使用k-means，可以找到每一组的中心点。当然，聚类算法并不局限于2维的点，也可以对高维的空间（3维，4维，等等）的点进行聚类，任意高维的空间都可以。  
转载
2024-01-05 23:28:05
1472阅读
# 多维数据表如何进行KMeans聚类
KMeans聚类是一种常见的无监督学习方法，用于将数据集划分为多个簇（Clusters）。在这里，我们将展示如何使用Python及其相关库对多维数据表进行KMeans聚类，并解决具体的问题。
## 问题背景
假设我们有一个旅游公司，想基于客户的消费行为数据对客户进行分类，以便于进行更加精准的市场营销。我们的数据集包含多个维度，例如客户年龄、年收入、消费
原创
2024-10-24 03:28:20
517阅读
