概率分布(Distributions)

如图1所看到的,这是最简单的联合分布案例,姑且称之为学生模型。

概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解_条件概率

图1


当中包括3个变量。各自是:I(学生智力,有0和1两个状态)、D(试卷难度,有0和1两个状态)、G(成绩等级,有1、2、3三个状态)。

表中就是概率的联合分布了,表中随便去掉全部包括某个值的行。就能对分布表进行缩减。

比如能够去掉全部G不为1的行。这样就仅仅剩下了1、4、7、10行,这样他们的概率之和就不为1了,所以能够又一次标准化(Renormalization)。如图2所看到的。

概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解_个人主页_02

图2


反之也能够把全部含有某个值得行相加。就是边缘化(Marginalization),如图3所看到的。

概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解_贝叶斯网络_03

图3 


条件概率分布(Conditional ProbabilityDistribution, CPD)

已知学生的智力和试卷难度。学生得分的分布就是条件概率。

如图4所看到的。

概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解_知乎_04

图4

 

因子(Factors)

因子是随机变量的函数。

因子是处理概率分布的的基本手段。

因子是高维空间中用以定义概率分布的基本单元。

概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解_知乎_05

因子能够相乘(图5)、边缘化(图6)以及缩减(图7)。

概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解_贝叶斯网络_06

图5


概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解_知乎_07

图6


概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解_概率分布_08

图7

 

前面提到的学生模型,其条件概率分布能够画在一张图里面。如图8.

每一个节点代表一个因子,当中有些CPD已经蜕化成非条件概率了。

概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解_个人主页_09

图8 


贝叶斯网络的链式法则(Chain Rule)

如图9所看到的。概率分布由因子的积来定义。

概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解_个人主页_10

概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解_贝叶斯网络_11

图9


比如

概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解_知乎_12

因此,通过链式法则。贝叶斯网络可以表示联合概率分布:

概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解_条件概率_13

 

贝叶斯网络的重要性质是概率和为1

概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解_知乎_14

 

一个简单的概率图是血型模型

当中G指基因型,B指血型。

能够看到血型仅仅由自己的基因型决定,而基因型则由父母两人的基因型决定。如图10.

概率图模型(PGM)学习笔记(二)贝叶斯网络-语义学与因子分解_个人主页_15

图10