注：本文中所有公式和思路来自于邹博先生的《机器学习升级版》，我只是为了加深记忆和理解写的本文。犹豫了好久终于要开始介绍LDA了，因为其中的概念和分布关系乍一看乱糟糟的，不太容易说明白，也不知道以什么样的形式能更好的说清楚这个小东西，今天斗胆拿出自己学习的心得同大家分享，不太敢确保让读者能明白，请海涵。矫情够了，该说说正事了！！！！LDA模型算是pLSA模型的一个升级版吧，全程是Latent Dir
思维导图：20.1推导狄利克雷分布数学期望公式。首先写出Dirichlet分布的概率密度函数： 其中，，那么期望值为： 令：，并利用，从而得到： 倒数第二个等号，可以发现，整个积分是对于一个新的Dirichlet分布的积分，因此为1. 这就是书中(20.31)和(20.33)用的结论。20.2针对17.2.2的文本例子，用LDA模型进行话题分析。# 简单起见，利用吉布斯抽样，根据书中例子去了3个话
目录LDA概述
基础知识
LDA主题模型
总结
一句话简述：2003年提出的，LDA是一种无监督的词袋式隐含主题模型，LDA给出文档属于每个主题的概率分布，同时给出每个主题上词的概率分布。在文本主题识别、文本分类、文本相似度计算和文章相似推荐等方面都有应用。
一、LDA概述
在机器学习领域，LDA是两个常用模型的简称：线性判别分析（Li
补充一下莫比乌斯反演的前置知识狄利克雷乘积(Dirichlet product)亦称狄利克雷卷积、卷积，是数论函数的重要运算之一。设f(n)、g(n)是两个数论函数，它们的Dirichlet(狄利克雷)乘积也是一个数论函数，简记为h(n)=f(n)*g(n)。前置知识：积性函数规定几种函数：\[单位函数：\epsilon(n) = \left\{
\begin{aligned}
1 \qquad
转载
2023-05-31 00:42:11
69阅读
作者：Thomas Wayne
今天来讲一下dirichlet distribution和dirichlet process怎么回事。力求让初学者看懂，而且我比较追求motivation，追求数学严谨性和简洁性的大神请移步不要看了。不喜欢看各种细节的也可以直接跳着看文中的结论。
实际上这是学习nonparametric bayesian里常见的困惑，有些同学碰到p
转载
2023-07-11 10:17:07
143阅读
点赞
转载
2019-03-17 20:30:00
341阅读
2评论
数论函数 陪域：包含值域的任意集合 数论函数：定义域为正整数，陪域为复数的函数 积性函数：对于函数$f(n)$，若存在任意互质的数$a,b$，使得$a*b=n$,并且$f(n)=f(a)*f(b)$，那么函数$f(n)$被称为积性函数 常见积性函数： $1(i)=1$ $f(i)=i$ $\varp
原创
2021-06-05 10:41:12
403阅读
在算术函数集上，可以定义一种二元运算，使得取这种运算为乘法，取普通函数加法为加法，使得算术函数集为一个交换环。其中一种这样的运算便是狄利克雷卷积。它和一般的卷积有不少相类之处。对于算术函数，定义其狄利克雷卷积。取狄利克雷卷积为运算，积性函数集是算术函数集的子群。目录[隐藏]1 运算2 导数3 级数4... Read More
转载
2014-06-24 16:16:00
298阅读
2评论
定义：
定义f,gf,gf,g两个函数的狄利克雷卷积(∗)(∗)(∗)运算为：
原创
2023-02-03 10:06:49
72阅读
作者：Thomas Wayne 链接：http://www.zhihu.com/question/26751755/answer/80931791 来源：知乎 著作权归作者全部。商业转载请联系作者获得授权。非商业转载请注明出处。 近期问的人有点多，打算写一系列“简单易懂地理解XXX系列”。 今
转载
2017-08-03 12:38:00
185阅读
2评论
先从狄利克雷过程的motivation开始说起，如果我们有一些数据，这些数据是从几个高斯分布中得出的，也就是混合高斯模型中得出的，比如下图这样但是呢，我们并不知道混合高斯模型中到底有多少个高斯分布，它可能是这样也可能是这样 在这个情况下，最大期望算法并不能解决这个问题，所以我们就需要狄利克雷过程来帮助我们。现实生活中的例子可以是，我有一堆论文但是我不知道这些论文到底讨论了多少论题。&nb
狄利克雷卷积总结积性函数常见的积性函数：φ,μ,σ,d\large \varphi,\mu,\sigma,dφ,μ,σ,d常见的完全积性函数：ϵ,I,id\large \epsilon,I,idϵ,I,id函数名数学表达式欧拉函数φ(n)\varphi(n)φ(n)莫比乌斯函数μ(n)\mu(n)μ(n)元函数ϵ(n)=[n=1]\epsilon(n)=[n=1]ϵ(n)=[n=1]恒等函数I(n)=1I(n)=1I(n)=1约数个数函数d(n)
原创
2022-01-20 16:36:42
331阅读
狄利克雷卷积总结积性函数常见的积性函数：φ,μ,σ,d\large \varphi,\mu,\sigma,dφ,μ,σ,d常见的完全积性函数：ϵ,I,id\large \epsilon,I,idϵ,I,id函数名数学表达式欧拉函数φ(n)\varphi(n)φ(n)莫比乌斯函数μ(n)\mu(n)μ(n)元函数ϵ(n)=[n=1]\epsilon(n)=[n=1]ϵ(n)=[n=1]恒等函数I(n)=1I(n)=1I(n)=1约数个数函数d(n)
原创
2021-08-10 09:16:36
419阅读
# 教你如何实现Python狄利克雷过程
## 简介
作为一名经验丰富的开发者，我将教你如何在Python中实现狄利克雷过程。狄利克雷过程是一种概率编程方法，用于生成分布样本，非常适合用于贝叶斯推断和机器学习领域。
## 流程概述
首先，让我们来看一下整个实现狄利克雷过程的流程：
| 步骤 | 操作 |
| --- | --- |
| 1 | 初始化狄利克雷分布的参数 |
| 2 | 生成狄
数论函数：定义域在正整数的函数，更一般的说可以是定义在整数上的。 性质 \[ 1.(f+g)(x)=f(x)+g(x) \\ 2.(nf)(x)=n*f(x) \\ \] 现在设有数论函数h,g,f 若 \[ h(N)=\sum_{d \backslash N} f(d)g(\frac{N}{d}) ...
转载
2021-08-14 12:00:00
962阅读
2评论
狄利克雷卷积可以算是数论中的一个比较重点的内容吧。它有许多作用，例如证明莫比乌斯反演定理。同时，它也是杜教筛等玄学算法的基础。
转载
2018-10-30 14:20:00
143阅读
2评论
注意本文中用的字母可能和其他博客中有区别。 黎曼zeta函数$\zeta(x)=\sum_{n\ge 1} \frac{1}{n^x}$。 手写时本人喜欢写成$z$（因为$\zeta$太难写），但是在博客中还是正式点吧。 参考资料： https://zhuanlan.zhihu.com/p/5081
转载
2021-02-15 16:51:00
241阅读
2评论
The Dirichlet Distribution 狄利克雷分布 (PRML 2.2.1)Dirichlet分布可以看做是分布之上的分布。如何理解这句话，我们可以先举个例子：假设我们有一个骰子，其有六面，分别为{1,2,3,4,5,6}。现在我们做了10000次投掷的实验，得到的实验结果是六面分别...
转载
2015-03-21 19:38:00
377阅读
2评论
0. 引入
现观察得到两个样本 θ1,θ2，来推测它们可能来自的分布：
假设来自于连续型概率密度函数， θ1,θ2∼H(θ) 则 θ1,θ2 相等的概率为 0，p(θ1=θ2)=0
概率为 0，不代表不可能发生，仍有发生的可能，只不过概率的测度为 0；（详见测度论相关知识）
纵然二者仍有可能相等，但因其概率测度为 0，实际上我们也只能视二者为不同的值；
假设来自于一种离散型概率质量函数，我
转载
2016-11-13 18:32:00
302阅读
0. 引入
现观察得到两个样本 θ1,θ2，来推测它们可能来自的分布：
假设来自于连续型概率密度函数， θ1,θ2∼H(θ) 则 θ1,θ2 相等的概率为 0，p(θ1=θ2)=0
概率为 0，不代表不可能发生，仍有发生的可能，只不过概率的测度为 0；（详见测度论相关知识）
纵然二者仍有可能相等，但因其概率测度为 0，实际上我们也只能视二者为不同的值；
假设来自于一种离散型概率质量函数，我
转载
2016-11-13 18:32:00
556阅读
2评论
