贝叶斯学习 非线性建模 python 贝叶斯网络建模

0. 贝叶斯网络

• 本文主要参考
• 因为不清楚贝叶斯网络到底可以干什么,所以这里只是初步了解知识,等用到了再回头看.

1. 贝叶斯网络的定义

1. 把某个研究系 统中涉及的随机变量，根据 是否条件独立绘制 在一个有向图中，就形成了贝叶斯网络。
2. 贝叶斯⽹络（Bayesian network），也被称为有向图模型(有向无环图)（directedgraphical model）。这个模型中，图之间的链接有⼀个特定的⽅向，使⽤箭头表⽰.
3. 节点表示随机变量,连接两个变量的箭头表示两个节点的因果关系(非条件独立).
4. 每个节点在给定其直接前驱时,条件独立于其非后继.

1.1 简单形式

要求:求解P(a,b,c)的联合概率分布,根据以上信息以及下图,怎么表示?

$P(a,b,c) = P(a) P( b | a) P(c | a,b)$

• 上式子也叫因式分解
• 可以思考:朴素贝叶斯是一个简单的贝叶斯网络(不考虑x之间的连接)

1.2 全连接贝叶斯网络

• 每一对节点之间都有边连接(但是注意:有向无环图)

$P(x1,x2,...xn) = P(x1)P(x2|x1)......P(xn|xn-1....x1)$

1.3 一般贝叶斯网络

2. 三种结构形式

• tail to tail

• head to tail

• head to head

• 延伸

3. 因子图

3.1 贝叶斯推断

推导贝叶斯推断的通用公式

1. 由贝叶斯网络得到因子图(Factor Graph)
2. 通过在因子图中消息传递的思想，计算概率

3.2 因子图

• 需要公式



• 举例子

4. Summary-Product

5 .例子

参考

1. 了解贝叶斯网络 csdn2. 贝叶斯理论在医学数据分析中的应用3. 邹博讲贝叶斯网络的PPT 4. 从贝叶斯方法谈到贝叶斯网络