研究生二年级实习（2010年5月）开始，一直跟着王益（yiwang）和靳志辉（rickjin）学习LDA，包括对算法的理解、并行化和应用等等。毕业后进入了腾讯公司，也一直在从事相关工作，后边还在yiwang带领下，与孙振龙、严浩等一起实现了一套大规模并行的LDA训练系统——Peacock。受rick影响，决定把自己对LDA工程实践方面的一些理解整理出来，分享给大家，其中可能有一些疏漏和错误，还请批
转载
2024-08-09 00:10:52
45阅读
LDA（Latent Dirichlet Allocation）主题建模是NLP确定文档主题方法，为无监督学习方法，当面对多个文档，能挖掘潜在的主题，类似于聚类方法，但又何聚类实质不一样，LDA从概率的角度来推出主题和词的分布，主题和词相互混合，没有聚类算法界限那么清晰。理解LDA牵涉很多算法和思想，马尔科夫链蒙特卡洛算法(MCMC)、吉布斯采样(Gibbs Sampling)、Gammer函数、
转载
2024-03-15 08:43:14
135阅读
1、LDA概述 在机器学习领域，LDA是两个常用模型的简称：线性判别分析（Linear Discriminant Analysis）和 隐含狄利克雷分布（Latent Dirichlet Allocation）。本文的LDA仅指代Latent Dirichlet Allocation. LDA 在主题模型中占有非常重要的地位，常用来文本分类。 LDA是基于贝叶斯模型的，涉及到贝叶斯
转载
2024-03-28 22:07:44
501阅读
文章目录LDA可以用来干什么?LDA模型简单引入与贝叶斯估计二项分布与多项分布共轭分布MCMC采样MCMC = Markov Chain（马尔科夫链）+ Monte Carlo（蒙特卡洛） LDA可以用来干什么?我们拿到一篇文章，然后读完就基本可以知道它是讲什么的，比如是讲“经济发展状况”，或者是讲“贸易战对两国的影响”，又或者是在讲“农村里的爱情故事”…LDA就是在做一个类似的事情：让计
转载
2024-05-09 08:58:08
34阅读
LDA是给文本建模的一种方法，它属于生成模型。生成模型是指该模型可以随机生成可观测的数据，LDA可以随机生成一篇由N个主题组成文章。通过对文本的建模，我们可以对文本进行主题分类，判断相似度等。在90年代提出的LSA中，通过对向量空间进行降维，获得文本的潜在语义空间。在LDA中则是通过将文本映射到主题空间，即认为一个文章有若干主题随机组成，从而获得文本间的关系。LDA模型有一个前提：bag of w
最近在研究推荐系统，其中有个隐语义模型LDA.看了大量的博客，资料，文献，对于我这种数学出身不好的人才略微知道这到底是个什么东西.记录一下，一来归纳总结一直就是一种比较好的学习方式，而来希望能够给后来者哪怕是一点点理解上启示。撇开枯燥的数学不谈，这个模型到底能够用来干什么，我发现很多资料和博客介绍的都比较笼统，看完之后脑子里都是些复杂的不知所云的数学公式，连这个模型的目的是什么都不清楚。在这里谈谈
转载
2024-03-29 09:12:30
27阅读
建议的程序员学习LDA算法的步骤
这一阵为了工作上的关系，花了点时间学习了一下LDA算法，说实话，对于我这个学CS而非学数学的人来说，除了集体智慧编程这本书之外基本没怎么看过机器学习的人来说，一开始还真是摸不太到门道，前前后后快要四个月了，算是基本了解了这个算法的实现，记录一下，也供后来人快速入门做个参考。 一开始直接就下了Blei的原始的那篇论文来看，但是看了个开头就被Dirichl
转载
2024-08-12 17:21:15
92阅读
在上一篇博文中提到了LDA（Latent Dirichlet Allocation）模型，翻译成中文就是——潜在狄利克雷分配模型。今天进一步对其作简要介绍。需要注意的是，LDA也是有名的Linear Discriminant Analysis（线性判别分析）的缩写。LDA是一种非监督机器学习技术，可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主
转载
2024-01-18 14:03:12
144阅读
1.主题模型主要内容及其应用(1)主要内容(2)主要应用2.共轭先验分布3.Dirichlet分布(狄利克雷分布)4.LDA的介绍文本分类。LDA由Blei, David M.、Ng, Andrew Y.、Jordan于2003年提出，用来推测文档的主题分布。它可以将文档集中每篇文档的主题以概率分布的形式给出，从而通过分析一些文档抽取出它们的主题分布后，便可以根据主题分布进行主题聚类或文本分类。主
转载
2024-05-13 09:33:59
156阅读
随着互联网的发展，文本分析越来越受到重视。由于文本格式的复杂性，人们往往很难直接利用文本进行分析。因此一些将文本数值化的方法就出现了。LDA就是其中一种很NB的方法。 LDA有着很完美的理论支撑，而且有着维度小等一系列优点。本文对LDA算法进行介绍，欢迎批评指正。 本文目录：1、Gamma函数2、Dirichlet分布3、LDA文本建模4、吉普斯抽样概率公式推导5、使用LDA
转载
2023-10-16 02:50:07
122阅读
最近在做一个动因分析的项目，自然想到了主题模型LDA。这次先把模型流程说下，原理后面再讲。 lda实现有很多开源库，这里用的是gensim.1 文本预处理大概说下文本的样子，LDA是无监督模型，也就是说不需要标签，只要传入文本就好。LDA要学习文档-主题分布和主题-词分布，所以我们把一个人的数据join在一起作为一条文档。对文档进行分词，使用的jieba分词工具包。注意，这里要做去停用词处理
转载
2023-08-17 16:45:52
132阅读
本文在我的上一篇博文 机器学习-特征选择(降维) 线性判别式分析(LDA) 的基础上进一步介绍核Fisher LDA算法。 之前我们介绍的LDA或者Fisher LDA都是线性模型，该模型简单，对噪音的鲁棒性较好，不容易过拟合，但是，简单模型的表达能力会弱一些，为了增加LDA算法的表达能力，我们可以将数据投影到非线性的方向上去。为了达到这个目的，我们可以先将数据
转载
2024-06-07 08:16:55
111阅读
个性化推荐引擎：采用一种高效的算法来估计贝叶斯模型中的参数 问题定义： LDA是一个三层次的贝叶斯模型，没一个item可以通过一组topic来表示，而每个topic又符合一定的概率分布。本文的LDA算法应用比较广泛，可应用于文本建模，文本分类和电影推荐，并且本文采用了一种高效的算法来估计贝叶斯模型中的参数。 方法: （1）LDA算法 首先是几个常见的术语：v=1，否则wv=0； 12.
转载
2023-08-24 20:08:18
121阅读
1.LDA模型简介（节选自百度百科）LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服从多项式分布。 LDA是一种非监督机器学习技
转载
2024-04-09 13:15:22
140阅读
主题模型LDA的应用拿到这些topic后继续后面的这些应用怎么做呢：除了推断出这些主题，LDA还可以推断每篇文章在主题上的分布。例如，X文章大概有60%在讨论“空间探索”，30%关于“电脑”，10%关于其他主题。这些主题分布可以有多种用途：聚类： 主题是聚类中心，文章和多个类簇（主题）关联。聚类对整理和总结文章集合很有帮助。参看Blei教授和Lafferty教授对于Science杂志的
转载
2024-03-18 11:09:45
60阅读
前言在学习LDA之前，有必要将其自然语言处理领域的LDA区别开来。在自然语言处理领域， LDA是隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA），是一种处理文档的主题模型。本文只讨论线性判别分析，因此后面所有的LDA均指线性判别分析。LDA思想LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的，这点和PCA不同。PCA是不考
转载
2024-04-19 18:54:48
137阅读
1.什么是归因归因模型是指一种或一组规则，用于确定如何将销售功劳和转化功劳分配给转化路径中的接触点。例如，在 GA中，“最终互动”模型会将 100% 的功劳分配给销售或转化之前的最终接触点（即单击），而“首次互动”模型会将 100% 的功劳分配给引发转化路径的接触点。上面这段是GA官方文档的定义，简单的说，归因就是将转化或销售按照一定的规则在各个渠道上划分，用于评估渠道优劣的一种方法。GA默认是最
转载
2024-06-05 09:46:19
55阅读
目录一、线性LDA、k-means和SVM算法介绍（一）线性LDA算法（二）k-means算法（三）SVM（支持向量机）算法二、采用线性LDA算法（一）鸢尾花数据集（二）月亮数据集三、采用k-means算法（一）鸢尾花数据集（二）月亮数据集四、采用SVM（支持向量机）算法（一）鸢尾花数据集（二）月亮数据集五、总结 一、线性LDA、k-means和SVM算法介绍（一）线性LDA算法线性判别式分析(
问题线性判别分析（Linear Discriminant Analysis，LDA）是机器学习中常用的降维方法之一，本文旨在介绍LDA算法的思想，其数学推导过程可能会稍作简化。
毕业项目设计代做项目方向涵盖：Opencv 图像处理，目标检测、语义分割、机器学习、Re-ID、医学图像分割、目标跟踪、人脸识别、数据增广、人脸检测、显著性目标检测、自动驾驶、人群密度估计、3D目标检测、CNN、AutoM
转载
2024-05-22 20:08:08
0阅读
数学建模算法总结 -算法应用场景和算法代码实现（1）1.文本主题提取算法-LDA算法分类：无监督学习方法建模应用方向：可以根据文本的词向量分布提取出，文本的主题分布输入：N个文本的文本词向量（w1,w2,w3,wn）,分类主题个数K 输出：各个文本分别数据k个主题的概率代码示例：# 主题数目
n_topics = 5
lda = LatentDirichletAllocation(n_topics
转载
2024-04-03 09:37:11
50阅读
