经典统计理论与贝叶斯统计理论的区别

1.信息利用不同

经典统计根据样本信息对总体分布或者总体特征分布进行统计推断,只需要用两种信息:总体分布信息以及样本信息

贝叶斯统计除了利用这两种信息外还需要用到先验分布信息,特别重视先验信息的收集、挖掘、加工,使他数量化,提高统计推断的质量,利用三种信息可以得到:

经典统计与机器学习 经典统计理论_假设检验


2.对主观概率的认同不同

经典统计的概率是大量重复实验中获得的

贝叶斯概率是根据自己的生活活动积累,对某件事情发生的可能性给出的信息,贝叶斯允许利用主观概率。

3.对参数θ的认识不同

经典统计把θ看成一个常数,对于某种现象进行统计推断

贝叶斯统计把参数θ看成一个随机变量来进行统计推断,用一个概率分布来描述θ的未知状况,这个概率分布在抽样前就有关于θ的先验信息的概率陈述。

4.对样本的认识不同

经典统计学把样本看做是总体分布的信息,研究的是总体,不局限于数据本身。

贝叶斯是重视样本观测值,通过样本观测值设出先验分布,得到后验分布。

5.对于可信区间和置信区间的认识不同

经典统计把真值看作是常量,置信水平为n次使用这个区间时,大概有多少可以盖住θ,置信区间比较难求,需要引入含被估参数的随机变量,使其不含未知参数。

贝叶斯统计可信区间将真值看成变量,可信水平θ落入可信区间内的概率例如

经典统计与机器学习 经典统计理论_假设检验_02


表示θ落入[x1,x2]的概率为0.9,寻求可信区间比较简单。

6.假设检验认同不同

经典统计假设检验需要建立原假设H0,备择假设H1,选择检验统计量,显著性水平,并确定拒绝域。

贝叶斯统计根据先验分布,得到后验分布之后进行假设检验H0,H1,不需要统计量来假设抽样分布,也不需要显著性水平来假设拒绝域,但是需要考虑损失函数。

7.三种信息的图形不同

经典统计只有一个样本图型

贝叶斯统计的后验分布是利用样本信息对先验信息修正的结果,后验概率密度图形在样本密度图形与先验密度图形之间。