混合型数据能用高斯混合数据吗混合高斯模型

转载

落花流水人家 2024-05-13 10:04:22

文章标签 混合型数据能用高斯混合数据吗高斯混合模型 EM 算法概率密度函数最大似然估计 文章分类 机器学习人工智能

一、高斯混合模型

1、高斯混合模型概念

高斯混合模型就是用高斯概率密度函数（正态分布曲线）精确地量化事物，它是一个将事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。一个模型转换为由多个高斯概率密度函数组合而成的。

每个 GMM 由 K 个 Gaussian 分布组成，每个 Gaussian 称为一个“Component”，这些 Component 线性加成在一起就组成了 GMM 的概率密度函数：

混合型数据能用高斯混合数据吗混合高斯模型_概率密度函数

根据上面的式子，如果我们要从 GMM 的分布中随机地取一个点的话，实际上可以分为两步：首先随机地在这 K个Gaussian Component 之中选一个，每个 Component 被选中的概率实际上就是它的系数 pi(k) ，选中了 Component 之后，再单独地考虑从这个 Component 的分布中选取一个点就可以了──这里已经回到了普通的 Gaussian 分布，转化为了已知的问题。

那么如何用 GMM 来做 clustering 呢？其实很简单，现在我们有了数据，假定它们是由 GMM 生成出来的，那么我们只要根据数据推出 GMM 的概率分布来就可以了，然后 GMM 的 K 个 Component 实际上就对应了 K 个 cluster 了。根据数据来推算概率密度通常被称作 density estimation ，特别地，当我们在已知（或假定）了概率密度函数的形式，而要估计其中的参数的过程被称作“参数估计”。

事实上，GMM 和 k-means 很像，不过 GMM 是学习出一些概率密度函数来（所以 GMM 除了用在 clustering 上之外，还经常被用于 density estimation ），简单地说，k-means 的结果是每个数据点被 assign 到其中某一个 cluster 了，而 GMM 则给出这些数据点被 assign 到每个 cluster 的概率，又称作 soft assignment 。

得出一个概率有很多好处，因为它的信息量比简单的一个结果要多，比如，我可以把这个概率转换为一个 score ，表示算法对自己得出的这个结果的把握。也许我可以对同一个任务，用多个方法得到结果，最后选取“把握”最大的那个结果；另一个很常见的方法是在诸如疾病诊断之类的场所，机器对于那些很容易分辨的情况（患病或者不患病的概率很高）可以自动区分，而对于那种很难分辨的情况，比如，49% 的概率患病，51% 的概率正常，如果仅仅简单地使用 50% 的阈值将患者诊断为“正常”的话，风险是非常大的，因此，在机器对自己的结果把握很小的情况下，会“拒绝发表评论”，而把这个任务留给有经验的医生去解决。

2、图像背景建立高斯模型的原理及过程

图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以以为是图像灰度概率密度的估计。如果图像所包含的目标区域和背景区域相差比较大，且背景区域和目标区域在灰度上有一定的差异，那么该图像的灰度直方图呈现双峰-谷形状，其中一个峰对应于目标，另一个峰对应于背景的中心灰度。对于复杂的图像，尤其是医学图像，一般是多峰的。通过将直方图的多峰特性看作是多个高斯分布的叠加，可以解决图像的分割问题。在智能监控系统中，对于运动目标的检测是中心内容，而在运动目标检测提取中，背景目标对于目标的识别和跟踪至关重要。而建模正是背景目标提取的一个重要环节。

我们首先要提起背景和前景的概念，前景是指在假设背景为静止的情况下，任何有意义的运动物体即为前景。建模的基本思想是从当前帧中提取前景，其目的是使背景更接近

当前视频帧的背景。即利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景,但是由于光照突变以及其他外界环境的影响，一般的建模后的背景并非十分干净清晰，而高

斯混合模型(GMM，Gaussian mixture model)是建模最为成功的方法之一，同时GMM可以用在监控视频索引与检索。

3、单高斯分布模型GSM

多维变量X服从高斯分布时，它的概率密度函数PDF为：

混合型数据能用高斯混合数据吗混合高斯模型_EM 算法_02

x是维度为d的列向量，u是模型期望，Σ是模型方差。在实际应用中u通常用样本均值来代替，Σ通常用样本方差来代替。很容易判断一个样x本是否属于类别C。因为每个类别都有自己的u和Σ，把x代入（1）式，当概率大于一定阈值时我们就认为x属于C类。

从几何上讲，单高斯分布模型在二维空间应该近似于椭圆，在三维空间上近似于椭球。遗憾的是在很多分类问题中，属于同一类别的样本点并不满足“椭圆”分布的特性。这就引入了高斯混合模型。

4、高斯混合模型GMM

GMM认为数据是从几个GSM中生成出来的，即

混合型数据能用高斯混合数据吗混合高斯模型_混合型数据能用高斯混合数据吗_03

K需要事先确定好，就像K-means中的K一样。π_k是权值因子。其中的任意一个高斯分布N(x;u_k,Σ_k)叫作这个模型的一个component。这里有个问题，为什么我们要假设数据是由若干个高斯分布组合而成的，而不假设是其他分布呢？实际上不管是什么分布，只K取得足够大，这个XX Mixture Model就会变得足够复杂，就可以用来逼近任意连续的概率密度分布。只是因为高斯函数具有良好的计算性能，所GMM被广泛地应用。

GMM是一种聚类算法，每个component就是一个聚类中心。即在只有样本点，不知道样本分类（含有隐含变量）的情况下，计算出模型参数（π，u和Σ）----这显然可以用EM算法来求解。再用训练好的模型去差别样本所属的分类，方法是：step1随机选择K个component中的一个（被选中的概率是π_k）；step2把样本代入刚选好的component，判断是否属于这个类别，如果不属于则回到step1。

样本分类已知情况下的GMM

当每个样本所属分类已知时，GMM的参数非常好确定，直接利用Maximum Likelihood。设样本容量为N，属于K个分类的样本数量分别是N₁,N₂,...,N_k，属于第k个分类的样本集合是L(k)。

混合型数据能用高斯混合数据吗混合高斯模型_最大似然估计_04

混合型数据能用高斯混合数据吗混合高斯模型_EM 算法_05

混合型数据能用高斯混合数据吗混合高斯模型_概率密度函数_06

样本分类未知情况下的GMM

有N个数据点，服从某种分布Pr(x;θ)，我们想找到一组参数θ，使得生成这些数据点的概率最大，这个概率就是

混合型数据能用高斯混合数据吗混合高斯模型_高斯混合模型_07

极大似然估计算式，构建似然函数

称为似然函数（Lilelihood Function）。通常单个点的概率很小，连乘之后数据会更小，容易造成浮点数下溢，所以一般取其对数，变成

混合型数据能用高斯混合数据吗混合高斯模型_混合型数据能用高斯混合数据吗_08

称为log-likelihood function。

GMM的log-likelihood function就是：

混合型数据能用高斯混合数据吗混合高斯模型_高斯混合模型_09

这里每个样本x_i所属的类别z_k是不知道的。Z是隐含变量。

我们就是要找到最佳的模型参数，使得(6)式所示的期望最大，“期望最大化算法”名字由此而来。

二、EM算法：

最大期望算法（Expectation Maximization Algorithm，又译期望最大化算法），是一种迭代算法，用于含有隐变量（latent variable）的概率参数模型的最大似然估计或极大后验概率估计。构造函数的下界，然后不断的优化下界以逼近函数最大值。

EM法求解

EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。

下面主要介绍EM的整个推导过程。

1. Jensen不等式

回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，

，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的（

），那么f是凸函数。如果

或者

，那么称f是严格凸函数。

Jensen不等式表述如下：

如果f是凸函数，X是随机变量，那么

特别地，如果f是严格凸函数，那么

当且仅当

，也就是说X是常量。

这里我们将

简写为

。

如果用图表示会很清晰：

图中，实线f是凸函数，X是随机变量，有0.5的概率是a，有0.5的概率是b。（就像掷硬币一样）。X的期望值就是a和b的中值了，图中可以看到

成立。

当f是（严格）凹函数当且仅当-f是（严格）凸函数。

Jensen不等式应用于凹函数时，不等号方向反向，也就是

。

2. EM算法

给定的训练样本是

，样例间独立，我们想找到每个样例隐含的类别z，能使得p(x,z)最大。p(x,z)的最大似然估计如下：

第一步是对极大似然取对数，第二步是对每个样例的每个可能类别z求联合分布概率和。但是直接求一般比较困难，因为有隐藏变量z存在，但是一般确定了z后，求解就容易了。

EM是一种解决存在隐含变量优化问题的有效方法。竟然不能直接最大化，我们可以不断地建立的下界（E步），然后优化下界（M步）。这句话比较抽象，看下面的。

对于每一个样例i，让表示该样例隐含变量z的某种分布，满足的条件是

。（如果z是连续性的，那么

是概率密度函数，需要将求和符号换做积分符号）。比如要将班上学生聚类，假设隐藏变量z是身高，那么就是连续的高斯分布。如果按照隐藏变量是男女，那么就是伯努利分布了。

可以由前面阐述的内容得到下面的公式：

（1）到（2）比较直接，就是分子分母同乘以一个相等的函数。（2）到（3）利用了Jensen不等式，考虑到

是凹函数（二阶导数小于0），而且

就是

的期望（回想期望公式中的Lazy Statistician规则）

设Y是随机变量X的函数（g是连续函数），那么（1） X是离散型随机变量，它的分布律为，k=1,2,…。若绝对收敛，则有（2） X是连续型随机变量，它的概率密度为，若绝对收敛，则有

对应于上述问题，Y是

，X是

，

是

，g是

到

的映射。这样解释了式子（2）中的期望，再根据凹函数时的Jensen不等式：

可以得到（3）。

这个过程可以看作是对求了下界。对于的选择，有多种可能，那种更好的？假设已经给定，那么的值就决定于

和

了。我们可以通过调整这两个概率使下界不断上升，以逼近

的真实值，那么什么时候算是调整好了呢？当不等式变成等式时，说明我们调整后的概率能够等价于

了。按照这个思路，我们要找到等式成立的条件。根据Jensen不等式，要想让等式成立，需要让随机变量变成常数值，这里得到：

c为常数，不依赖于。对此式子做进一步推导，我们知道

，那么也就有

，（多个等式分子分母相加不变，这个认为每个样例的两个概率比值都是c），那么有下式：

至此，我们推出了在固定其他参数后，

的计算公式就是后验概率，解决了

如何选择的问题。这一步就是E步，建立

的下界。接下来的M步，就是在给定

后，调整

，去极大化

的下界（在固定

后，下界还可以调整的更大）。那么一般的EM算法的步骤如下：

循环重复直到收敛 { （E步）对于每一个i，计算（M步）计算

那么究竟怎么确保EM收敛？假定和

是EM第t次和t+1次迭代后的结果。如果我们证明了

，也就是说极大似然估计单调增加，那么最终我们会到达最大似然估计的最大值。下面来证明，选定

后，我们得到E步

这一步保证了在给定时，Jensen不等式中的等式成立，也就是

然后进行M步，固定

，并将

视作变量，对上面的

求导后，得到

，这样经过一些推导会有以下式子成立：

解释第（4）步，得到

时，只是最大化

，也就是

的下界，而没有使等式成立，等式成立只有是在固定

，并按E步得到

时才能成立。

况且根据我们前面得到的下式，对于所有的和都成立

第（5）步利用了M步的定义，M步就是将调整到

，使得下界最大化。因此（5）成立，（6）是之前的等式结果。

这样就证明了会单调增加。一种收敛方法是不再变化，还有一种就是变化幅度很小。

再次解释一下（4）、（5）、（6）。首先（4）对所有的参数都满足，而其等式成立条件只是在固定，并调整好Q时成立，而第（4）步只是固定Q，调整，不能保证等式一定成立。（4）到（5）就是M步的定义，（5）到（6）是前面E步所保证等式成立条件。也就是说E步会将下界拉到与一个特定值（这里）一样的高度，而此时发现下界仍然可以上升，因此经过M步后，下界又被拉升，但达不到与另外一个特定值一样的高度，之后E步又将下界拉到与这个特定值一样的高度，重复下去，直到最大值。

如果我们定义

从前面的推导中我们知道

，EM可以看作是J的坐标上升法，E步固定

，优化

，M步固定

优化

。

3. 重新审视混合高斯模型

我们已经知道了EM的精髓和推导过程，再次审视一下混合高斯模型。之前提到的混合高斯模型的参数

和

计算公式都是根据很多假定得出的，有些没有说明来由。为了简单，这里在M步只给出

和

的推导方法。

E步很简单，按照一般EM公式得到：

简单解释就是每个样例i的隐含类别为j的概率可以通过后验概率计算得到。

在M步中，我们需要在固定

后最大化最大似然估计，也就是

这是将的k种情况展开后的样子，未知参数

和

。

固定和，对求导得

等于0时，得到

这就是我们之前模型中的的更新公式。

然后推导的更新公式。看之前得到的

在和确定后，分子上面的一串都是常数了，实际上需要优化的公式是：

需要知道的是，还需要满足一定的约束条件就是

。

这个优化问题我们很熟悉了，直接构造拉格朗日乘子。

还有一点就是

，但这一点会在得到的公式里自动满足。

求导得，

等于0，得到

也就是说

再次使用

，得到

这样就神奇地得到了。

那么就顺势得到M步中的更新公式：

的推导也类似，不过稍微复杂一些，毕竟是矩阵。结果在之前的混合高斯模型中已经给出。

3. 总结

如果将样本看作观察值，潜在类别看作是隐藏变量，那么聚类问题也就是参数估计问题，只不过聚类问题中参数分为隐含类别变量和其他参数，这犹如在x-y坐标系中找一个曲线的极值，然而曲线函数不能直接求导，因此什么梯度下降方法就不适用了。但固定一个变量后，另外一个可以通过求导得到，因此可以使用坐标上升法，一次固定一个变量，对另外的求极值，最后逐步逼近极值。对应到EM上，E步估计隐含变量，M步估计其他参数，交替将极值推向最大。EM中还有“硬”指定和“软”指定的概念，“软”指定看似更为合理，但计算量要大，“硬”指定在某些场合如K-means中更为实用（要是保持一个样本点到其他所有中心的概率，就会很麻烦）。

另外，EM的收敛性证明方法确实很牛，能够利用log的凹函数性质，还能够想到利用创造下界，拉平函数下界，优化下界的方法来逐步逼近极大值。而且每一步迭代都能保证是单调的。最重要的是证明的数学公式非常精妙，硬是分子分母都乘以z的概率变成期望来套上Jensen不等式，前人都是怎么想到的。

在Mitchell的Machine Learning书中也举了一个EM应用的例子，明白地说就是将班上学生的身高都放在一起，要求聚成两个类。这些身高可以看作是男生身高的高斯分布和女生身高的高斯分布组成。因此变成了如何估计每个样例是男生还是女生，然后在确定男女生情况下，如何估计均值和方差，里面也给出了公式，有兴趣可以参考。

参考：

1、http://baike.baidu.com/link?url=g3Uu9-LiF759GX7k3Q3kP_CVVrC1oAa-ugSHWE0F6Fs69OorInzmKX2tSmA1I4vdSBHp68a0XJtu0bE_DtcCMJ33MhTLU5Hxv1BydaPQPj9a6K5rWtlw2KmyZgwdPMQ9g3gaXnGMcu0qBlv7UDdaEq