局部线性流形聚类(Locally Linear Manifold Clustering, LLMC)
引言
局部线性流形聚类(LLMC)是一种用于高维数据聚类
的先进方法,它基于流形学习
理论,旨在发现隐藏在高维数据背后的低维流形结构。
LLMC通过局部线性嵌入(LLE)来估计数据点的局部几何特性,然后利用这些信息构建一个`相似度矩阵``,最后应用谱聚类算法对数据点进行聚类。
这种方法特别适合于处理非线性分布
的数据集,其中数据点分布在复杂的流形上。
局部线性嵌入(LLE)
LLE是一种非线性降维技术
,它试图保持数据点在局部邻域内的相对位置不变。
对于数据集中的每个点,LLE找到
一组权重
,使得
可以被其
个
最近邻点的加权和近似表示
。权重通过解决以下优化问题来确定:
其中:
是点
的
个
最近邻点集合。
是点
表示为点
的
权重。
表示
欧几里得范数。
为了确保权重的
唯一性
,加入一个约束条件:
构建相似度矩阵
一旦为每个数据点计算了权重
,就可以构建一个
相似度矩阵
,其中
反映了点
和点
之间的
相似度
。相似度可以通过权重来定义,例如:
谱聚类
有了相似度矩阵之后,可以将其转换为
拉普拉斯矩阵
,然后应用谱聚类算法对数据点进行
聚类
。拉普拉斯矩阵定义为:
其中是一个
对角矩阵
,其中,称为
度矩阵。
谱聚类的步骤包括:
- 计算拉普拉斯矩阵
的
特征向量。
- 选择前
个特征向量,其中
是
预期的聚类数量。
- 对这些特征向量进行
归一化
,形成一个新的矩阵。
- 将
的每一行视为一个新数据点,然后应用
-means算法对这些新数据点进行
聚类。
目标公式与解释
LLMC的核心目标公式涉及LLE的权重计算
和相似度矩阵
的构建:
:这个表达式衡量了点
和它通过其
个
最近邻点的加权和之间的差异
,目标是最小化这种差异,以找到能够最好地表示的权重
。
:这是一个
约束条件
,确保权重的和为1,这在数学上防止了权重的无限放大或缩小。
结论
局部线性流形聚类(LLMC)是一种强大的聚类方法,它结合了流形学习和谱聚类技术,能够有效地处理非线性分布和高维数据集
。
通过利用局部线性嵌入(LLE)来估计数据点的局部几何特性,LLMC能够捕捉数据点在低维流形上的分布,然后通过谱聚类算法将数据点聚类到不同的流形区域。
这种方法在图像分析、生物信息学、语音识别和信号处理等领域有着广泛的应用潜力。