平均场理论(Mean Field Method):举个简单的例子就是,平面上有很多的电荷,我们想研究这些电荷对电荷A的影响,我们不必一个一个电荷去研究这些电荷对电荷A的影响,我们可以考虑这些电荷组成的一个整体,而这个整体可以被等效为一个电荷,然后直接研究这个等效电荷对电荷A的影响,这就大大简化了分析和计算复杂度。

 

Kullback-Leibler散度:

Variational Bayes_计算复杂度

 

Variational Bayes_github_02

Variational Bayes_github_03

 

Variational Bayes_计算复杂度_04

Variational Bayes_计算复杂度_05

 

 

 

指数分布族(exponntial family)

指数分布族的密度函数:

Variational Bayes_指数分布_06

Variational Bayes_github_07

Variational Bayes_指数分布_08

Variational Bayes_指数分布_09

Variational Bayes_指数分布_10

Variational Bayes_github_11

Variational Bayes_指数分布_12

Variational Bayes_指数分布_13

琴生不等式:

Variational Bayes_计算复杂度_14

Variational Bayes_计算复杂度_15

Variational Bayes_指数分布_16

Variational Bayes_github_17

Variational Bayes_计算复杂度_18

 

KL距离公式:

Variational Bayes_指数分布_19

Variational Bayes_指数分布_20

Variational Bayes_github_21

Variational Bayes_github_22

Variational Bayes_指数分布_23

 

Variational Bayes_github_24

 

黄世宇/Shiyu Huang's Personal Page:​​https://huangshiyu13.github.io/​