目录

不同表述形式

有限形式

测度与概率形式

在概率论中的广义形式

不等式证明

有限形式

测度和概率形式

概率论中的广义形式

不等式应用

在概率密度函数中的形式

随机变量的偶次矩

其他有限形式

统计物理

信息论

Rao–Blackwell定理


在数学中,琴生不等式(Jensen Inequality)以丹麦数学家 Johan Jensen 的名字命名,又称詹森不等式。它将积分的凸函数的值与凸函数的积分联系起来,Jensen在 1906 年证明了这一点。

鉴于其普遍性,不等式根据上下文以多种形式出现,最简单的不等式表示均值的凸变换小于或等于凸变换后的均值。而凹变换的情况正好相反。

jensen不等式 python画图 jensen不等式的应用_实线

Jensen不等式概括了凸函数的割线位于函数图上方的陈述,这是Jensen对两点的不等式:割线由凸函数的加权均值组成(对于 t∈[0,1]):

jensen不等式 python画图 jensen不等式的应用_概率密度函数_02

函数的图形是加权均值的凸函数:

jensen不等式 python画图 jensen不等式的应用_概率密度函数_03

因此,Jensen 不等式是 :

jensen不等式 python画图 jensen不等式的应用_概率密度函数_04

在概率论的语境中,一般用以下形式表述:如果 X 是随机变量且 φ 是凸函数,则:

jensen不等式 python画图 jensen不等式的应用_jensen不等式 python画图_05

不等式两边的差

jensen不等式 python画图 jensen不等式的应用_实线_06

,称为 Jensen 间隙(Jensen gap)。

不同表述形式

Jensen 不等式的经典形式涉及多个数字和权重。 不等式可以用测度论的语言或(等价的)概率来表述。 在概率定义中,不等式可以进一步推广到其全部强度(full strength)。

有限形式

对于一个实凸函数

jensen不等式 python画图 jensen不等式的应用_概率密度函数_07

,定义域中的数字

jensen不等式 python画图 jensen不等式的应用_jensen不等式 python画图_08

,和正权重

jensen不等式 python画图 jensen不等式的应用_概率密度函数_09

,Jensen不等式可以表示为:

jensen不等式 python画图 jensen不等式的应用_琴生不等式_10

如果

jensen不等式 python画图 jensen不等式的应用_概率密度函数_07

为凹函数,则:

jensen不等式 python画图 jensen不等式的应用_概率密度函数_12

当且仅当

jensen不等式 python画图 jensen不等式的应用_jensen不等式 python画图_13

时等号成立,或者

jensen不等式 python画图 jensen不等式的应用_概率密度函数_07

为线性函数。作为特殊情况,当正权重

jensen不等式 python画图 jensen不等式的应用_概率密度函数_09

都相等时,上述等式可以表示为:

jensen不等式 python画图 jensen不等式的应用_概率密度函数_16

琴生不等式可以用作证明一般情况的平均不等式:

\frac{x_{1}^{t}+x_{2}^{t}+\cdot\cdot\cdot+x_{n}^{t}}{n}\geq (\frac{x_{1}+x_{2}+\cdot\cdot\cdot+x_{n}}{n})^{t},(t>1)

jensen不等式 python画图 jensen不等式的应用_琴生不等式_18

jensen不等式 python画图 jensen不等式的应用_概率密度函数_19

其中前面两个取

jensen不等式 python画图 jensen不等式的应用_权重_20

,后面一个取

jensen不等式 python画图 jensen不等式的应用_概率密度函数_21

。一个常见的应用是将 x 作为另一个变量(或一组变量)t的函数

jensen不等式 python画图 jensen不等式的应用_jensen不等式 python画图_22

。 所有这些都直接适用于一般连续情况:权重

jensen不等式 python画图 jensen不等式的应用_概率密度函数_09

被非负可积函数f(x)代替,例如概率分布,并且总和被积分代替。

测度与概率形式

jensen不等式 python画图 jensen不等式的应用_实线_24

是一个概率空间,

jensen不等式 python画图 jensen不等式的应用_琴生不等式_25

。如果g是一个实数函数,且对于

jensen不等式 python画图 jensen不等式的应用_jensen不等式 python画图_26

可积,另外如果

jensen不等式 python画图 jensen不等式的应用_概率密度函数_07

是一个在实线域上是凸函数,则:

jensen不等式 python画图 jensen不等式的应用_jensen不等式 python画图_28

在实分析中,我们可能需要对下式做一个估计:

jensen不等式 python画图 jensen不等式的应用_实线_29

其中

jensen不等式 python画图 jensen不等式的应用_概率密度函数_30

jensen不等式 python画图 jensen不等式的应用_概率密度函数_31

是非负勒贝格积分函数。在这种情况下,勒贝格测度[a,b]不用是统一的。但是,通过作代换积分,可以重新调整区间以使其具有度量单位,那么可以应用Jensen不等式得到:

jensen不等式 python画图 jensen不等式的应用_权重_32

通过简单的符号变化,可以在概率论中等效地陈述相同的结果。 令

jensen不等式 python画图 jensen不等式的应用_权重_33

为概率空间,X为可积实值随机变量,φ为凸函数。 则:

jensen不等式 python画图 jensen不等式的应用_jensen不等式 python画图_05

在这个概率定义中,测度μ的目的是作为概率P,关于μ作为期望值的积分,以及作为随机变量X的函数g。

注意等式成立当且仅当 φ 是某个凸集A上的线性函数,使得

jensen不等式 python画图 jensen不等式的应用_琴生不等式_35

在概率论中的广义形式

更一般地,设T为实拓扑向量空间,X为T值可积随机变量。在这个一般设置中,可积意味着在T中存在一个元素E[X],使得对于T的对偶空间(dual space)中的任何元素 z:

jensen不等式 python画图 jensen不等式的应用_实线_36

jensen不等式 python画图 jensen不等式的应用_概率密度函数_37

。然后,对于任何可测凸函数 φ 和F的任何子 σ-代数

jensen不等式 python画图 jensen不等式的应用_琴生不等式_38

jensen不等式 python画图 jensen不等式的应用_琴生不等式_39

这里

jensen不等式 python画图 jensen不等式的应用_实线_40

代表以 σ-代数

jensen不等式 python画图 jensen不等式的应用_琴生不等式_38

为条件的期望。当拓扑向量空间T是实轴,并且

jensen不等式 python画图 jensen不等式的应用_琴生不等式_38

是平凡的σ-代数 {∅, Ω}(其中∅是空集,Ω是样本空间),这个一般性陈述简化为以前的陈述。

一种锐化和概括的形式

jensen不等式 python画图 jensen不等式的应用_jensen不等式 python画图_43

然后:

jensen不等式 python画图 jensen不等式的应用_权重_44

jensen不等式 python画图 jensen不等式的应用_概率密度函数_45

不等式证明

Jensen 不等式可以通过多种方式证明,并且将提供对应于上述不同陈述的三种不同证明。

jensen不等式 python画图 jensen不等式的应用_琴生不等式_46

jensen不等式 python画图 jensen不等式的应用_权重_47

有限形式

测度和概率形式

概率论中的广义形式

 

不等式应用

在概率密度函数中的形式

假设

jensen不等式 python画图 jensen不等式的应用_权重_48

是实线的可测子集,f(x)是一个非负函数:

jensen不等式 python画图 jensen不等式的应用_概率密度函数_49

在概率论中f(x)是概率密度函数。利用Jensen不等式的加权形式,可以写出f(x)形式下的公式。

如果g是任何实值可测函数且

jensen不等式 python画图 jensen不等式的应用_概率密度函数_07

在g的范围内是凸的,那么:

jensen不等式 python画图 jensen不等式的应用_琴生不等式_51

如果g(x)=x,那么这种不等式的形式可以简化为一个常用的特例:

jensen不等式 python画图 jensen不等式的应用_jensen不等式 python画图_52

这个结果一般被应用于变分贝叶斯方法(Variational Bayesian methods)。

随机变量的偶次矩

如果

jensen不等式 python画图 jensen不等式的应用_jensen不等式 python画图_53

,X是一个随机变量,g是一个凸函数:

jensen不等式 python画图 jensen不等式的应用_权重_54

二阶导数大于0,为凸函数,于是有:

jensen不等式 python画图 jensen不等式的应用_实线_55

特别的,如果X的偶次矩是有限的,X具有有限的均值。这个结论可以推广为:X的

jensen不等式 python画图 jensen不等式的应用_概率密度函数_56

次矩是有限的。

其他有限形式

jensen不等式 python画图 jensen不等式的应用_jensen不等式 python画图_57

统计物理

在统计物理中考虑一个指数型的凸函数:

jensen不等式 python画图 jensen不等式的应用_概率密度函数_58

其中期望值为某个分布下的随机变量X的值。

上述公式证明比较简单,首先:

jensen不等式 python画图 jensen不等式的应用_实线_59

然后利用已有公式

jensen不等式 python画图 jensen不等式的应用_琴生不等式_60

jensen不等式 python画图 jensen不等式的应用_概率密度函数_61

代入前式得:

jensen不等式 python画图 jensen不等式的应用_实线_62

信息论

如果p(x)是X的概率密度,q(x)是另一个概率密度,对随机变量Y(X)=q(X)/p(X)应用琴生不等式,则

jensen不等式 python画图 jensen不等式的应用_琴生不等式_63

因而:

jensen不等式 python画图 jensen不等式的应用_权重_64

这个结果被称为吉布斯不等式(Gibbs' inequality)

它表明当基于真实概率p而不是任何其他分布q分配代码时,平均消息长度最小。非负的数量称为q与p的Kullback-Leibler散度。由于-log(x)是x>0的严格凸函数,因此当p(x)几乎处处等于q(x)时,等式成立。

Rao–Blackwell定理