隐含狄利克雷分布(Latent Dirichlet Allocation,以下简称LDA)
近几年,关于文本挖掘在期刊论文中应用最火的莫过于LDA主题模型了,其可以挖掘文本潜在含义
但是对于小白来说,对大量文本进行LDA主题挖掘是非常复杂的。
今后,可直接利用Text Mining软件撰写文本挖掘的各个方面的论文了!!!
目前,Text Mining2.4(TM2.4)软件具备功能如下:
多种类型文本:
分词、
频次统计、
词云图绘制、
网络主题聚类、
基于TF-IDF算法主题聚类、
基于textrank算法主题聚类、
基于词袋模型的LDA主题挖掘、
基于TF-IDF模型的LDA主题挖掘、
情感分析…
教程如下:非常简单,一键出结果
直接导入文本数据:
基于词袋模型的LDA主题挖掘
基于TF-IDF模型的LDA主题挖掘
公众号学术点滴后台回复 【文本挖掘】 立即获取LDA主题挖掘功能软件
介绍:
LDA(Latent Dirichlet Allocation)是一种文档主题生成模型,也称为一个三层贝叶斯概率模型,包含词、主题和文档三层结构。所谓生成模型,就是说,我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题,并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布,主题到词服从多项式分布。LDA是一种非监督机器学习技术,可以用来识别大规模文档集(document collection)或语料库(corpus)中潜藏的主题信息。它采用了词袋(bag of words)的方法,这种方法将每一篇文档视为一个词频向量,从而将文本信息转化为了易于建模的数字信息。但是词袋方法没有考虑词与词之间的顺序,这简化了问题的复杂性,同时也为模型的改进提供了契机。每一篇文档代表了一些主题所构成的一个概率分布,而每一个主题又代表了很多单词所构成的一个概率分布。