本文其实是为了讲核函数，由于核函数比较抽象，就从 余弦相似、内积 开始讲起，因为 核函数、内积、余弦相似 本质上都是一种相似性度量 的方式 内积 与 余弦相似度内积存在两个向量 a，b 内积为余弦相似度a·b = |a||b|cos(a, b) cos(a, b) = (a·b) / (|a||b|)二者关系1. 从上面公式可以看出，余弦相似性 其
转载
2024-05-18 10:55:28
270阅读
Gaussian Mixture Model ，就是假设数据服从 Mixture Gaussian Distribution ，换句话说，数据可以看作是从数个 Gaussian Distribution 中生成出来的。实际上，我们在 K-means 和 K-medoids 两篇文章中用到的那个例子就是由三个 Gaussian 分布从随机选取出来的。实际上，从中心极限定理可以看出，Gaussian
转载
2024-03-19 11:19:54
66阅读
K-means聚类ng在coursera的机器学习课上已经讲过K-means聚类，这里不再赘述高斯混合模型问题描述聚类问题：给定训练集\(\{x^{(1)},\cdots,x^{(m)}\}\)，每个数据没有任何标签。这是一个无监督学习问题模型描述首先，我们认为每个数据所属的类别满足一定的概率分布。定义隐含随机变量(latent random variable)\(z^{(1)},\cdots,z
转载
2024-06-04 12:31:50
33阅读
模型聚类模型（Model）聚类假定每个簇符合一个分布模型，通过找到这个分布模型，就可以对样本点进行分簇。在机器学习领域，这种先假定模型符合某种概率分布（或决策函数），然后在学习过程中学习到概率分布参数（或决策函数参数）的最优值的模型，称为参数学习模型。模型聚类主要包括概率模型和神经网络模型两大类，前者以高斯混合模型（Gaussian Mixture Models，GMM）为代表，后者以
转载
2023-10-20 12:56:01
71阅读
MathWorks或许你知道如今企业要想在商业上拔得头筹，已经离不开AI的协助？或许你听说过可以自动从数据中得到知识辅助决策的强大机器学习算法？机器学习可以分成三个子领域：监督学习，无监督学习和强化学习。无监督学习可以看成是“没有老师情况下的学习”，因为只有数据本身，没有监督学习里的标签，也没有强化学习里的反馈。这里我们介绍一种聚类方法，高斯混合模型(Gaussian mixture mod
转载
2023-10-07 16:21:49
168阅读
高斯混合聚类(GMM)及代码实现by 2017-03-20 郭昱良 机器学习算法与Python学习通过学习概率密度函数的Gaussian Mixture Model (GMM) 与 k-means 类似，不过 GMM 除了用在 clustering 上之外，还经常被用于 density estimation。对于二者的区别而言简单地说，k-means 的结果是每个数据点被 assign 到其中某一
转载
2023-09-08 08:56:26
69阅读
第1关：高斯混合聚类的核心思想任务描述相关知识高斯混合分布高斯混合聚类的核心思想编程要求测试说明任务描述本关任务：根据本节课所学知识完成本关所设置的选择题。相关知识为了完成本关任务，你需要掌握：高斯混合分布；高斯混合聚类的核心思想。高斯混合分布高斯混合聚类认为数据集中样本的产生过程是由高斯混合分布所给出的。那什么是高斯混合分布呢？其实很简单，以下面三个图为例：白色的样本点由高斯分布 A 产生、蓝色
转载
2023-10-19 23:12:09
141阅读
聚类的方法有很多种，k-means要数最简单的一种聚类方法了，其大致思想就是把数据分为多个堆，每个堆就是一类。每个堆都有一个聚类中心（学习的结果就是获得这k个聚类中心），这个中心就是这个类中所有数据的均值，而这个堆中所有的点到该类的聚类中心都小于到其他类的聚类中心（分类的过程就是将未知数据对这k个聚类中心进行比较的过程，离谁近就是谁）。其实k-
转载
2023-12-18 21:59:45
47阅读
K均值缺点需要人工预先设置K值，而且该值与真实的数据分布未必吻合K值只能收敛到局部最优，效果受到初始值影响较大容易受到噪声影响样本点被划分到单一的类里面高斯混合模型高斯混合模型(Gaussian Mixed Model，GMM)也是常见的聚类算法。使用EM算法进行迭代计算。高斯混合模型假设了每个簇的数据符合正态分布(高斯分布)，当前的数据分布就是各个簇的高斯分布叠加在一起。当数据明显无法使用一个正
转载
2023-10-10 09:41:17
127阅读
K-Means是聚类算法中一个常用的方法，是一种非监督学习方法。该方法是从杂乱的数据中找到k个簇。该方法简单，但是依然存在一些缺点，如：1. K-M
e
ans方法在划分簇时通常是呈圆形，但是，如果数据的实际分布可能为椭圆形
时，K-Means方法效果可能不佳。2. 无法得到每个样本被划分到每个簇的概率。高斯混合模型却能够有效克服这两个缺点。因此，今天将介绍高斯混合模型，并采
转载
2024-03-07 12:23:01
168阅读
高斯混合聚类假设样本来自高斯混合分布。先看高斯分布，若样本n维样本x服从高斯分布，则其概率密度函数为：可以看出，高斯分布完全由均值向量μ和协方差矩阵Σ两个参数确定，把上式概率密度函数记为：p(x|μ,Σ).实际中，样本集可能是来自多个不同的概率分布，或者来自相同的概率分布但分布的参数不同（这里的不同即表示了样本所属聚类的不同）。这里假设样本集来自参数不同的k个高斯分布（k个混合成分，每
转载
2024-05-06 11:37:05
87阅读
01 — 回顾近几天，分析了期望最大算法的基本思想，它是用来迭代求解隐式变量的利器，我们举例了两地的苹果好坏分布为例来求解隐式参数，苹果的出处，进而求出烟台或威海的苹果好坏的二项分布的参数：好果的概率。关于二项分布和离散式随机变量的基础理论知识，请参考： 机器学习储备（11）：说说离散型随机变量 机器学习储备（12）：二项分布的例子解析注意在求解烟台或威海的好果概率这个分布参数时，我们在每个迭代时
转载
2024-05-13 10:30:35
63阅读
作为机器学习算法的一员，不同于SVMs（支持向量机），贝叶斯，logistic regression这些监督学习算法，
K-means是一种无监督的聚类算法。这里的K表示类别的个数。 K-means算法EM步骤如下： 给定K的值，代表有K个不同的类别。对每一个类别，猜测其中心点。 在已知K个中心点的情况下，计算每个点到这K的中心点的距离，距离最小的那个中心点所代表的类就是该点所属的类别，这样对
转载
2024-02-23 23:13:12
12阅读
任务描述本关任务：根据本节课所学知识完成本关所设置的选择题。相关知识为了完成本关任务，你需要掌握：高斯混合分布；高斯混合聚类的核心思想。高斯混合分布高斯混合聚类认为数据集中样本的产生过程是由高斯混合分布所给出的。那什么是高斯混合分布呢？其实很简单，以下面三个图为例：白色的样本点由高斯分布 A 产生、蓝色的样本点由高斯分布 B 产生、灰色的样本点由高斯分布 C 产生。这 3 个高斯分布可能如下图所示
转载
2024-01-15 10:04:36
70阅读
一、K-Means
K-Means是GMM的特例(硬聚类，基于原型的聚类)。假设多元高斯分布的协方差为0，方差相同。
K-Means算法思想
对于给定的样本集，按照样本之间的距离大小，将样本集划分为K个簇。让簇内的点尽量紧密的连在一起，而让簇间的距离尽量的大。
N个d维样本，时间复杂度 O(kLNd)
转载
2024-05-20 15:37:20
272阅读
在Spark2.0版本中（不是基于RDD API的MLlib），共有四种聚类方法： （1）K-means （2）Latent Dirichlet allocation (LDA) （3）Bisecting k-means（二分k均值算法
转载
2024-05-24 10:46:12
39阅读
1.k-means聚类的缺点 k-means聚类使用欧式距离为距离函数时，其二维本质是，以每个簇质心为圆心圈出来的一个一个圆圈。用这个圆将原始数据进行截断分类，但是实际数据分布不一定全是标准的圆形，还可能是椭圆等。这使得它对许多数据的分类拟合效果不尽如人意： 1）类的形状不够灵活，
转载
2023-10-07 13:31:11
95阅读
5种流行的聚类算法以及它们的优缺点。本文参考AiTechYunK-MEANS聚类算法K-Means聚类算法可能是大家最熟悉的聚类算法。它出现在很多介绍性的数据科学和机器学习课程中。在代码中很容易理解和实现！请看下面的图表。K-Means聚类1.首先，我们选择一些类/组来使用并随机地初始化它们各自的中心点。要想知道要使用的类的数量，最好快速地查看一下数据，并尝试识别任何不同的分组。中心点是与每个数据
转载
2024-07-31 21:08:10
77阅读
高斯混合聚类将高斯分布、贝叶斯公式、极大似然法（EM）估计的思路混合在这一种方法中。高斯混合聚类是从概率的角度对样本进行聚类的，而且这个概率是连续概率。基础概念先验概率：指根据以往经验和分析得到的概率。类条件概率：指已知一个条件下，结果发生的概率。后验概率：判断结果的发生是由哪个原因引起的概率。一元高斯函数：多元高斯分布：对n维样本空间 X中的随机向量x，若x服从高斯分布，其概率密度函数为:上面的
转载
2023-08-24 17:58:43
84阅读
导语前面已经讲完三种聚类方法，剩下的模型聚类法，主要分为基于概率模型聚类和基于神经网络模型聚类两种。其中基于概率模型的聚类方法较为流行。而在概率模型聚类法中，最典型、也最常用的就是高斯混合模型GMM了。那么，GMM是什么，又是如何聚类的？GMM聚类高斯混合模型（GMM，Gaussian Mixture Models），顾名思义由高斯模型组成，而高斯模型就是我们常说的正态分布，因此GMM可以理解为几
