PT@全概率公式和贝叶斯公式@后验概率和信念度量

文章目录

• abstract
• 完备事件组(划分)

• 基本性质

• 全概率公式

• 例

• 贝叶斯公式

• 例

• 对立事件下的常用形式
• 先验概率和后验概率

• 例

• 概率作为衡量人们对客观事件的信念度量
• 补充

• 条件概率的链式法则

• More than two events
• Example

• 例
• More than two random variables(多维随机变量下的链式乘法法则)

• Example

abstract

• 全概率公式和bayes公式及其应用
• 后验概率和信念度量

完备事件组(划分)

• 设有限集$I=\{1,\cdots,n\}$;试验$E$的样本空间为$\Omega$
• 若$\{B_i;i\in{I}\}$满足:

• $\bigcup_{i=1}^{n}B_i=\Omega$
• $B_iB_j=\varnothing;i\neq j$

• 则称$\{B_i;i\in{I}\}$为$\Omega$的一个完备事件组,也称为划分

基本性质

• 完备事件组$\{B_i;i\in{I}\}$,试验的任意一个样本点(任意一次试验结果)都属于且仅属于某一个$B_i$

全概率公式

• 设试验E的样本空间为$S$,$A$为$E$的事件
• $\set{B_i|i\in I}$是一个$S$的划分,$P(B_i)>0,i\in{I}$,则$P(A)=\sum_{i=1}^{n}P(A|B_i)P(B_i)$

• 那么$P(A)=\sum\limits_{i\in I}P(A|B_i)P(B_i)$

• 证明:

• 显然$AB_i\sub B_i$,又$B_iB_j=\varnothing$,所以$(AB_i)(AB_j)=A(B_iB_j)=A\emptyset=\emptyset$,$(i\neq{j})$
• $P(A|B_i)P(B_i)=P(AB_i)$
• 证法1:

• $\sum\limits_{i\in I}P(A|B_i)P(B_i)=\sum\limits_{i\in I}P(AB_i)$

• $=P(AB_1\cup{AB_2}\cup\cdots\cup{A{B_n}})$
• $=P\left(A\cap\left(\bigcup\limits_{i\in I}B_i\right)\right)$
• $=P(A\Omega)$
• $=P(A)$

• 证法2:

• $A=AS=A(B_1\cup\cdots\cup{B_n})$=$AB_1\cup\cdots\cup{A{B_n}}$
• $P(A)$=$P(AB_1\cup\cdots\cup{A{B_n}})$=$\sum_{i=1}^{n}P(AB_i)$=$\sum\limits_{i\in I}P(A|B_i)P(B_i)$

例

• 某个含有20个球的箱子

• 含有0,1,2只次品的概率分别为0.8,0.1,0.1

• 记:$A_i$={箱子包含的残次品数量为$i$个}

• $P(A_0)=0.8$
• $P(A_1)=P(A_2)=0.1$

• 记$B$={抽中的4件产品都是正品}

• 那么发生事件$B$的概率?

• 显然$A_0,A_1,A_2$构成试验E{观察箱子中的全部球的正品数,样本空间为{0,1,2}}的样本空间的一个划分
• 而事件$B$进行的试验$F${观察取出的4个抽样品的正品数,样本空间为{0,1,2}}
• 容易根据古典概型公式计算(因为此时的样本空间已知)以下条件概率(这里不是用条件概率公式展开计算,这会绕回来)

• $P(B|A_0)=\frac{\binom{20}{4}}{\binom{20}{4}}=1$
• $P(B|A_1)=\frac{\binom{19}{4}}{\binom{20}{4}}=\frac{(19*18*17*16)*(4*3*2*1)}{(20*19*18*17)*(4*3*2*1)}=\frac{4}{5}$

• 其中$\Omega_{A_1}=\Omega$

• $P(B|A_2)=\frac{\binom{18}{4}}{\binom{20}{4}}=\frac{12}{19}$

• 根据全概率公式$P(B)=\sum\limits_{i=1}^{3}P(B|A_i)P(A_i)=0.943$
• Note:这里试验$F$的样本空间恰好和E的样本空间重复,但如果箱子中的次品高达4个以上,那么$F$的样本空间${0,1,2,3,4}$是包含于$E$的样本空间的

贝叶斯公式

• bayes公式基于上述的全概率公式,是一个更加综合的公式,但是原理是简单的
• 设试验E的样本空间为$S$,$A$为$E$的事件
• $\set{B_i|i\in I}$是一个$S$的划分,$P(A)>0,P(B_i)>0,i\in{I}$,则

• $P(B_i|A)$=$\frac{P(AB_i)}{P(A)}$=$\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)}$;$i=1,\cdots,n$;此公式为bayes公式

• 证明:由条件概率,乘法定理,全概率公式,贝叶斯公式显然成立

• $P(B_i|A)$=$\frac{P(AB_i)}{P(A)}$
• $P(AB_i)$=$P(A|B_i)P(B_i)$

• 注意在bayes公式中,我们要求的是$P(B_i|A)$,因而$P(AB_i)$=$P(B_i|A)P(A)$就不合适,否则公式无法有效计算
• 而因该用$P(AB_i)$=$P(A|B_i)P(B_i)$来算

• $P(A)=\sum_{i=1}^{n}P(A|B_i)P(B_i)$

例

• 次品来源问题:设一批零件来自三个供应商

供应商	次品率	进货份额
1	0.02	0.15
2	0.01	0.80
3	0.03	0.05

• 试验内容:从零件中抽取一件

• A={取到的产品是次品}
• $B_i$={次品零件来自第$i$个厂商}

• $P(B_1)$=$0.15$;$P(A|B_1)$=0.02
• $P(B_2)$=0.80;$P(A|B_2)$=0.01
• $P(B_3)$=0.05;$P(A|B_3)$=0.03

• 求该样品是次品的概率:

• 由全概率公式:$P(A)=\sum\limits_{i=1}^{3}P(A|B_i)P(B_i)$=$0.02*0.15+0.01*0.80+0.03*0.05=0.0125$

• 从中取出一件,发现是次品,那么来自产商$i$的概率是多少$(i=1,2,3)$

• 由贝叶斯公式:

• $P(B_i|A)=\frac{P(B_iA)}{P(A)}=\frac{P(A|B_i)P(B_i)}{P(A)}$

• 分别可以计算出:

• $P(B_1|A)=\frac{0.02*0.15}{0.0125}=0.24$
• $P(B_2|A)$=$0.64$
• $P(b_3|A)$=$0.12$

对立事件下的常用形式

• 全概率公式和beyes公式在$n=2$的时候(事件$B,\overline{B}$构成样本空间的一个划分)最常用
• 此时分别有:

• $P(A)=P(AB)+P(A\overline{B})$=$P(A|B)P(B)+P(A|\overline{B})P(\overline{B})$
• $P(B|A)=\frac{P(AB)}{P(A)}$=$\frac{P(A|B)P(B)}{P(A|B)P(B)+P(A|\overline{B})P(\overline{B})}$

先验概率和后验概率

例

• 机器与产品合格率问题
• 设机器正常时,生产的产品合格率为0.9,否则合格率为0.3
• 如果机器开机后,正常的概率是0.75(先验概率)
• 某天该机器第一件产品是合格的,机器正常的概率是多少?
• 分析:

• A={第一件产品合格}
• B={机器正常}
• 所求概率表达式为:$P(B|A)=?$

• 根据假设可知:

• $P(A|B)=0.9;P(A|\overline{B})=0.3$
• $P(B)=0.75,P(\overline{B})=0.25$

• $B,\overline{B}$构成了样本空间的一个划分(即机器要么正常,要么不正常)

• 由全概率公式$P(A)={P(A|B)P(B)+P(A|\overline{B})P(\overline{B})}$=$0.9*0.75+0.3*0.25=0.75$
• 那么根据Bayes公式,$P(B|A)=\frac{P(A|B)P(B)}{P(A)}$=$\frac{0.9*0.75}{0.75}=0.9$,
• 即第一件产品合格的条件下,机器正常的后验概率概率为0.9

• 后验概率是对先验概率的一种修正
• 后验概率和先验概率的解释分为两派

• 客观派:所有第一件产品是合格的日子里,100天内平均由90天机器是正常的
• 主观派:反映的是试验前后人们主观上对机器状态的不同信念

概率作为衡量人们对客观事件的信念度量

• 以伊索寓言狼来了为例
• $A$={孩子说谎};$B$={孩子可信},假设一个可信的孩子**相对不容易说谎,**不妨设这个概率为0.1,即$P(A|B)$=0.1;反之,一个不可信的孩子说谎话的概率为0.5,即$P(A|\overline{B})=0.5$
• 设村民遇到一个可信的孩子的概率为0.8,即$P(B)$=0.8
• 那么孩子说慌话的概率为$P(A)$=$P(A|B)P(B)+P(A|\overline{B})P(\overline{B})$=$0.1\times{0.8}+0.5\times{0.2}$=0.18
• 现在假设孩子说了谎话一次后,由bayes公式计算这个孩子是可信的概率

• $P(B|A)$=$\frac{P(BA)}{P(A)}$=$\frac{P(A|B)P(B)}{P(A|B)P(B)+P(A|\overline{B})P(\overline{B})}$=$\frac{0.1\times{0.8}}{0.18}$=$\frac{4}{9}\approx{0.444}$
• 即孩子可信的后验概率降低到了0.444

• 如果孩子再次撒谎,令$P(B)=0.444$按照上述方式再次计算后验概率:

• $P(B|A)$=$\frac{0.444\times{0.1}}{0.444\times{0.1}+0.566\times{0.5}}$=$0.138$

• 可见,孩子撒了两次慌后,其可信的后验概率已经降低到了0.138,给人的感觉几乎是一个不可信的人

补充

条件概率的链式法则

• Chain rule (probability) - Wikipedia
• In probability theory, the chain rule (also called the general product rule[1][2]) permits the calculation of any member of the joint distribution of a set of random variables using only conditional probabilities.
• The rule is useful in the study of Bayesian networks, which describe a probability distribution in terms of conditional probabilities.
• 更一般的,如果反复套用上述公式,我们可以得到:

• 下面得到公式看起来复杂,其实用起来是很自然

• $P(\prod_{i=1}^{n}A_i)=P((\prod_{i=1}^{n-1}A_i)A_n) =P(A_n|\prod_{i=1}^{n-1}A_i)P(\prod_{i=1}^{n-1}A_i) \\ 设通项P_k= P(\prod_{i=1}^{k}A_i)=P((\prod_{i=1}^{k-1}A_i)A_k) =P(A_k|\prod_{i=1}^{k-1}A_i)P(\prod_{i=1}^{k-1}A_i) \\T(k)=\prod_{i=1}^{k}A_i \\k=n,n-1,n-2,\cdots,1 \\P_k=P(T(k))=P(A_k|T(k-1))P(T(k-1)) \\\vdots$
• $特别的:P_2=P(A_1A_2)=P(A_2|A_1)P(A_1) \\P_3=P(A_1A_2A_3)=P(A_3|A_1A_2)P(A_1A_2) \\=P(A_3|A_1A_2)P(A_2|A_1)P(A_1) \\类似的: \\P_4=P(A_1A_2A_3A_4)=P(A_4|A_1A_2A_3)P(A_1A_2A_3) \\=P(A_4|A_1A_2A_3)P(A_3|A_1A_2)P(A_2|A_1)P(A_1) \\ P_n=\prod_{i=1}^{n}P(A_{n-i+1}|\prod_{j=0}^{n-i}A_j) \\严格的说,\prod_{j=1}^{n}A_j应该作\bigcap\limits_{j=1}^{n}A_j,表示积事件 \\定义P(A_0)=1$
• 其他写法
  $P_n=\prod_{i=1}^{n}P(A_{n-i+1}|\bigcap\limits_{j=0}^{n-i}A_j) \\根据乘法交换律(积事件调整书写顺序含义不变)\\ P_n=\prod_{i=1}^{n}P(A_{n-i+1}|\bigcap\limits_{j=0}^{n-i}A_j) =\prod_{i=1}^{n}P(A_{i}|\bigcap\limits_{j=1}^{i-1}A_j) \\约定\bigcap\limits_{j=1}^{0}A_j时省略该项(作为必然事件)$
• 通常,公式右边的条件概率都是比较容易计算的

• 通常利用条件概率的样本收缩来得出各个条件概率因子
• 否则可能要考虑其他的计算积事件的方法

More than two events

• For more than two events $A_{1},\ldots ,A_{n}$ the chain rule extends to the formula ${\displaystyle \mathrm {P} \left(A_{n}\cap \ldots \cap A_{1}\right)=\mathrm {P} \left(A_{n}|A_{n-1}\cap \ldots \cap A_{1}\right)\cdot \mathrm {P} \left(A_{n-1}\cap \ldots \cap A_{1}\right)}$ which by induction may be turned into ${\displaystyle \mathrm {P} \left(A_{n}\cap \ldots \cap A_{1}\right)=\prod _{k=1}^{n}\mathrm {P} \left(A_{k}\,{\Bigg |}\,\bigcap _{j=1}^{k-1}A_{j}\right).}$

Example

• With four events ($n=4$), the chain rule is ${\displaystyle {\begin{aligned}\mathrm {P} (A_{1}\cap A_{2}\cap A_{3}\cap A_{4})&=\mathrm {P} (A_{4}\mid A_{3}\cap A_{2}\cap A_{1})\cdot \mathrm {P} (A_{3}\cap A_{2}\cap A_{1})\\&=\mathrm {P} (A_{4}\mid A_{3}\cap A_{2}\cap A_{1})\cdot \mathrm {P} (A_{3}\mid A_{2}\cap A_{1})\cdot \mathrm {P} (A_{2}\cap A_{1})\\&=\mathrm {P} (A_{4}\mid A_{3}\cap A_{2}\cap A_{1})\cdot \mathrm {P} (A_{3}\mid A_{2}\cap A_{1})\cdot \mathrm {P} (A_{2}\mid A_{1})\cdot \mathrm {P} (A_{1})\end{aligned}}}$

例

• 多次摸多颜色球问题

• 设有5红,3黑,2白
• 问,第三次才摸到白球的概率

• 即,前两次的摸球结果都不是白色的
• 为了方便讨论问题,记:$A_i={第i次摸出白球};i=1,2,3$

• 如果不是白球,则记为$\overline{A_i}$

• $P=P(\overline{A_1}\ \overline{A_2}A_3) =P(A_3|\overline{A_1}\ \overline{A_2}) P(\overline{A_2}|\overline{A_1})P(\overline{A_1}) \\=\frac{2}{10-2}\frac{8-1}{10-1}\frac{8}{10} =\frac{2}{8}\frac{7}{9}\frac{8}{10} =\frac{7}{45}$

• 其中$P(B_n|B_{n-1}\cdots{B_1})$表示已经有$n-1$个求被摸出,现在再摸出一个球,发生事件$B_n$的概率
• 例如$P(\overline{A_2}|\overline{A_1})$表示已经摸出一个球(而且不是白球)的情况下,再摸出一个求,而且仍然不是白球的概率
• 实时上,稍微熟练点的高中生,就可以直接写出$p=\frac{2}{8}\frac{7}{9}\frac{8}{10}$

More than two random variables(多维随机变量下的链式乘法法则)

• Consider an indexed collection of random variables ${\displaystyle X_{1},\ldots ,X_{n}}$ taking possible values $x_{1},\dots ,x_{n}$
• Then, to find the value of this member of the joint distribution, we can apply the definition of conditional probability to obtain:
• ${\displaystyle \mathrm {P} \left(X_{n}=x_{n},\cdots ,X_{1}=x_{1}\right)=\mathrm {P} \left(X_{n}=x_{n}|X_{n-1}=x_{n-1},\ldots ,X_{1}=x_{1}\right)\cdot \mathrm {P} \left(X_{n-1}=x_{n-1},\ldots ,X_{1}=x_{1}\right)}$
• Repeating this process with each final term and letting $A_{k}$ denote the event ${\displaystyle X_{k}=x_{k}}$
• ${\displaystyle \mathrm {P} \left(\bigcap _{k=1}^{n}A_{k}\right)=\prod _{k=1}^{n}\mathrm {P} \left(A_{k}\,{\Bigg |}\,\bigcap _{j=1}^{k-1}A_{j}\right)=\prod _{k=1}^{n}\mathrm {P} \left(X_{k}=x_{k}\,|\,X_{1}=x_{1},\dots X_{k-1}=x_{k-1}\right).}$

Example

• With four variables ($n=4$), denote ${\displaystyle P(x_{n}\,|\,x_{n-1}\dots ,x_{1}):=P(X_{n}=x_{n}\,|\,X_{n-1}=x_{n-1}\dots ,X_{1}=x_{1})}$
• Then, the chain rule produces this product of conditional probabilities: ${\displaystyle {\begin{aligned}\mathrm {P} (x_{4},x_{3},x_{2},x_{1})&=\mathrm {P} (x_{4}\mid x_{3},x_{2},x_{1})\cdot \mathrm {P} (x_{3},x_{2},x_{1})\\&=\mathrm {P} (x_{4}\mid x_{3},x_{2},x_{1})\cdot \mathrm {P} (x_{3}\mid x_{2},x_{1})\cdot \mathrm {P} (x_{2},x_{1})\\&=\mathrm {P} (x_{4}\mid x_{3},x_{2},x_{1})\cdot \mathrm {P} (x_{3}\mid x_{2},x_{1})\cdot \mathrm {P} (x_{2}\mid x_{1})\cdot \mathrm {P} (x_{1})\end{aligned}}}$