今天来讲一个比较重要的概念,叫做Bregman Divergence,即布雷格曼散度,是一种类似距离度量的方式,用于衡

量两者之间差异的大小。接下来会重点进行探讨

 

Contents

 

   1. 布雷格曼散度的认识

   2. 布雷格曼散度的性质

   3. 布雷格曼散度与指数分布族

 

 

1. 布雷格曼散度的认识

 

Bregman散度是损失或者失真函数。考虑如下情况:设点

布雷格曼散度_指数分布

是点

布雷格曼散度_指数分布_02

的失真或者近似的点,也就是说

布雷格曼散度_点积_03

可能是由

布雷格曼散度_点积_04

添   加了一些噪声形成的,损失函数的目的是度量用

布雷格曼散度_距离度量_05

近似

布雷格曼散度_距离度量_06

近似导致的失真或者损失,因而Bregman散度可以用作相   异性函数。给定一个严格的凸函数

布雷格曼散度_指数分布_07

,由该函数生成的Bregman散度通过下面的公式给出

 

   

布雷格曼散度_指数分布_08

 

   其中

布雷格曼散度_点积_09

是在

布雷格曼散度_距离度量_10

上计算

布雷格曼散度_点积_11

的梯度,

布雷格曼散度_指数分布_12

是向量

布雷格曼散度_点积_13

与向量

布雷格曼散度_点积_14

的差,

布雷格曼散度_点积_15


布雷格曼散度_距离度量_16


布雷格曼散度_距离度量_17


内积,对于欧几里得空间里的点,内积就是点积。

 

   上述公式中后半部分为

布雷格曼散度_距离度量_18

,代表函数

布雷格曼散度_指数分布_19


布雷格曼散度_指数分布_20

点附近的线性部分,而Bregman散   度是一个函数与该函数的线性近似之间的差,选取不同的

布雷格曼散度_点积_21

可以得到不同的Bregman散度。

 

 

2. 布雷格曼散度的性质

 

   在文章开始处提到了Bregman散度是一种类似距离度量的方式,但是与一般距离相比它有两大特性

 

   (1)不满足三角不等式,即对所有的

布雷格曼散度_点积_22


布雷格曼散度_距离度量_23


布雷格曼散度_点积_24

,下面的不等式不一定成立

 

        

布雷格曼散度_指数分布_25

 

   (2)不满足对称性,即对所有

布雷格曼散度_距离度量_26


布雷格曼散度_点积_27

,下式不一定成立

 

        

布雷格曼散度_指数分布_28

 

   除了上述性质之外,Bregman散度还有其它的性质,可以参考如下链接

 

   链接:http://blog.sciencenet.cn/blog-795427-671573.html

 

    

3. 布雷格曼散度与指数分布族

 

  关于这一节的内容详细参考这里

 

   在之前的NMF分解中除了用欧几里得距离度量误差之外,也提到过K-L散度度量误差,也就是用的本文所述方法。