java文本聚类算法文本聚类结果

转载

小题大作 2023-11-07 08:47:54

文章标签 java文本聚类算法聚类自然语言处理数据挖掘词频 文章分类 Java 后端开发

一、概述

文本聚类是聚类在文本上的应用，即在不需要标注语料的情况下，在文档层级上，用无监督方法自动找出文档与文档间的关联。

1.1 聚类

它是指将给定对象的集合划分为不同子集的过程，目标是使得每个子集内部的元素尽量相似，不同子集间的元素尽量不相似。这些子集又被称为簇，一般没有交集。

根据元素从属于集合的确定程度，分为硬聚类和软聚类。

硬聚类：每个元素被确定地归入一个簇，从属关系是离散的，比较强硬。

软聚类：每个元素与每个簇都存在一定的从属程度，只不过该程度有大有小，从属关系是用一个连续值来衡量，比较灵活。

根据聚类结果的结构，聚类算法可以分为划分式和层次化两种。

划分式：结果是一系列不相交的子集。

层次化：结果是一棵树，叶子节点是元素，父节点是簇。

1.2 聚类的应用

聚类通常用于数据的预处理，或归档相似的数据。在数据量比较大、标注成本比较高的时候，可以使用聚类。

1.3 文本聚类

文本聚类是指对文档进行的聚类分析，被广泛用于文本挖掘和信息检索领域，后来挖掘出了新用途，如改善搜索结果、生成同义词等。

基本流程就是：特征提取与向量聚类两步。

二、文档的特征提取

文档是一系列单词的有序不定长列表，这些单词的种类无穷大，且可能反复出现。单词本身已然千变万化，它们的不定长组合更加无穷无尽，从细节上尽善尽美地表示一篇文档不现实，我们必须采用一些有损模型。

2.1 词袋模型

词袋是信息检索与自然语言处理中最常用的文档表示模型，将文档想象为一个装有词语的袋子，通过袋子中每个词语的计数等统计量将文档表示为向量。

2.2 词袋中的统计指标

词袋模型的统计指标可以选取词频、布尔词频（词频非零为1，否则为0）、TF-IDF、词向量等

三、K均值算法

将文本转换成向量，相当于一系列的数据点，我们将通过一些聚类算法将数据点聚焦成不同的簇。K均值算法不能保证一定能够得到最优聚类结果，但实践结果非常好。

3.1 基本原理

（1）选取k个点作为k个簇的初始质心；

（2）将所有的点分别分配给最近的质心所在的簇；

（3）重新计算每个簇的质心；

（4）不断重复（2)、(3)直到质心不再发生变化；

3.2 初始质心的选取

由于k均值不能保证收敛到全局最优，所以初始质心的选取对k均值的运行结果影响非常大，如果选取不当，则可能收敛到一个较差的局部最优点。

朴素实现经常用随机选取的方式确定初始质心，但是需要用户多运行几次，得出最佳结果。但是数据量很大时，往往不够经济。

高效的实现方法：将质心的选取视作准则函数进行迭代式优化的过程，具体做法是先随机选择第一个数据点作为质心，视作只有一个簇计算准则函数，同时维护每个点到最近质心的距离的平方，作为一个映射数组M；然后随机取准则函数数值的一部分记作 p。遍历剩下所有的数据点，若该点到最近质心的距离小于p，则选取该点添加到质心列表，同时更新准则函数与M。循环多次，直至凑足k个初始质心。该方法每次新增一个质心，都保证了准则函数的值下降一个随机比率；而朴素实现相当于每次新增的质心是完全随机的，准则函数的增减无法控制。

3.3 更快的准则函数

一种基于余弦距离的准则函数，基于新准则函数，k均值算法流程如下：

（1）选取k个点作为k个簇的初始质心；

（2）将所有的点分别分配给最近的质心所在的簇；

（3）对每个点，计算将其移入另一个簇时余弦函数的增大量，找到最大增大量，完成移动；

（4）重复步骤3直到达到最大迭代次数，或簇的划分不再变化。