海森矩阵和半正定矩阵

转载

mob604756eb4476 2019-03-19 23:08:00

多元函数的Hessian矩阵就类似一元函数的二阶导。

多元函数Hessian矩阵半正定就相当于一元函数二阶导非负，半负定就相当于一元函数二阶导非正。如果这个类比成立的话，凸函数的Hessian恒半正定就非常容易理解了——这是一元凸函数二阶导必非负的多元拓展。

至于为什么这个类是有道理的，你要这么看。对一元函数f(x)来说，就极值而言，一阶导为0是极值点的必要但不充分条件，一阶导为0切二阶导非负是极小值的充要条件。

为什么呢，因为有泰勒展开 $海森矩阵和半正定矩阵_2d$ 。如果一阶导为0，二阶导非负，dx不论是多少，f(x)一定不比f(x0)小。

你把多元函数也个泰勒展开，主要区别在于：
1) 二阶导变成了Hessian。
2) 以前只要考虑x怎么变，现在还要考虑y怎么变，x和y怎么一起变，头疼了很多。
以二元为例，
$海森矩阵和半正定矩阵_定义域_02$
从一元的情况类比过来，如果一阶导为0，是不是极小值完全取决于不同的dx, dy下，能不能做到最后一项一直非负。

只有对于任意 $海森矩阵和半正定矩阵_极值_03$ , $海森矩阵和半正定矩阵_2d_04$ 一直非负的情况，我们才能说这是极小值。如果 $海森矩阵和半正定矩阵_极值_05$ 一直非正，这就是极大值。如果它一会正一会负，就是鞍点。

然后“对于任意 $海森矩阵和半正定矩阵_极值_03$ , $海森矩阵和半正定矩阵_2d_04$ 一直非负”这是啥？半正定的定义嘛！它就是这么引出来的，也是我们为什么需要半正定这个概念的原因

我们首先假设

函数在定义域上连续
函数在定义域上二阶可导

现在要证明的是：

definition $海森矩阵和半正定矩阵_2d_08$ 1st-order condition
1st-order condition $海森矩阵和半正定矩阵_2d_08$ 2nd-order condition

实际上这些都是充要关系，但是因为题主的问题并没有要求证明必要性我这里就偷懒只证明充分性了。

首先凸函数（一元）的定义是：
任意属于定义域的两个自变量 $海森矩阵和半正定矩阵_2d_10$ 和 $海森矩阵和半正定矩阵_极值_11$ ，且对于任意 $海森矩阵和半正定矩阵_3d_12$ ，如果函数 $海森矩阵和半正定矩阵_定义域_13$ 满足 $海森矩阵和半正定矩阵_极值_14$ ，那么函数 $海森矩阵和半正定矩阵_定义域_13$ 是凸函数。

&lt;img src="https://pic1.zhimg.com/50/4b8955c8ec2ed4058938c27c2e9db2d1_hd.jpg" data-rawwidth="509" data-rawheight="165" class="origin_image zh-lightbox-thumb" width="509" data-original="https://pic1.zhimg.com/4b8955c8ec2ed4058938c27c2e9db2d1_r.jpg"/&gt; 海森矩阵和半正定矩阵_极值_16

直观的理解就是函数曲线上任意两点为短点的线段一定在函数曲线的上方。
多变量函数可以把自变量写成一个向量 $海森矩阵和半正定矩阵_2d_17$ ，同理对于定义域的任意两个自变量 $海森矩阵和半正定矩阵_2d_18$ 和 $海森矩阵和半正定矩阵_3d_19$ ，以及任意 $海森矩阵和半正定矩阵_极值_20$ ，如果函数 $海森矩阵和半正定矩阵_定义域_13$ 满足 $海森矩阵和半正定矩阵_2d_22$ ，那么函数 $海森矩阵和半正定矩阵_定义域_13$ 是凸函数。

1st-order condition 一阶条件，还是以一元函数为例：
对于定义域内任意两个自变量 $海森矩阵和半正定矩阵_2d_10$ 和 $海森矩阵和半正定矩阵_极值_11$ ，函数 $海森矩阵和半正定矩阵_定义域_13$ 满足则函 $海森矩阵和半正定矩阵_3d_27$ 数 $海森矩阵和半正定矩阵_定义域_13$ 为凸函数。

&lt;img src="https://pic3.zhimg.com/50/50f7e84150aa3d4999aa1bdbb3554780_hd.jpg" data-rawwidth="587" data-rawheight="162" class="origin_image zh-lightbox-thumb" width="587" data-original="https://pic3.zhimg.com/50f7e84150aa3d4999aa1bdbb3554780_r.jpg"/&gt; 海森矩阵和半正定矩阵_2d_29

直观的理解就是函数曲线始终位于任意一点的切线的上方。类似于前面

提到的二阶Taylor展开中必须保证二次项非负。推广到多变量函数同理可以写为 $海森矩阵和半正定矩阵_极值_30$ ，其中梯度向量 $海森矩阵和半正定矩阵_3d_31$ 也就是在该点对各个变量求偏导构成的向量。

现在要证明的凸函数有 $海森矩阵和半正定矩阵_3d_27$ 的性质。

假设函数 $海森矩阵和半正定矩阵_定义域_13$ 在定义域上是凸函数，那么有：
$海森矩阵和半正定矩阵_定义域_34$
然后稍微变形可以得到 $海森矩阵和半正定矩阵_取值_35$
令 $海森矩阵和半正定矩阵_定义域_36$ ，则 $海森矩阵和半正定矩阵_定义域_37$ ，那么有
$海森矩阵和半正定矩阵_取值_38$ ，当 $海森矩阵和半正定矩阵_极值_39$ 趋近于0时，有 $海森矩阵和半正定矩阵_取值_40$ 这一项也就是函数 $海森矩阵和半正定矩阵_极值_41$ 在 $海森矩阵和半正定矩阵_取值_42$ 处的导数值， $海森矩阵和半正定矩阵_3d_43$ 实际是 $海森矩阵和半正定矩阵_取值_44$ 与 $海森矩阵和半正定矩阵_取值_45$ 的复合函数，容易求导得 $海森矩阵和半正定矩阵_极值_46$ ，由于只要求在 $海森矩阵和半正定矩阵_取值_42$ 处的导数值所以容易得 $海森矩阵和半正定矩阵_极值_48$ ，代入回不等式即可得到
$海森矩阵和半正定矩阵_极值_30$

从图形上也可以直观去理解这个推导结果，取函数曲线上两点作直线，被函数图像截断的那部分始终在曲线上方，而其他部分始终在曲线下方，那么这两个点取的无限接近，也就是通常我们说的“割线逼近切线”，那么切线就始终在曲线下方了，曲线不知道高到哪里去了。

现在我们来做第二部分也就是用1st-order condition推导2nd-order condition的部分的证明了。

2nd-order condition的内容就是凸函数的Hessian矩阵半正定。多元Taylor展开如果不熟悉的话可以参考Taylor's theorem的公式自己理解，我这里就不详细展开了，直接写在 $海森矩阵和半正定矩阵_取值_50$ 点处二阶展开形式：
$海森矩阵和半正定矩阵_3d_51$ ，这里的 $海森矩阵和半正定矩阵_取值_52$ 即 $海森矩阵和半正定矩阵_2d_53$ 在 $海森矩阵和半正定矩阵_取值_50$ 点处的Hessian矩阵，也可以写作 $海森矩阵和半正定矩阵_取值_55$ ，可以理解为把梯度向量推广为二阶形式，梯度向量本身也是Jacobian矩阵的一种特例。
$海森矩阵和半正定矩阵_2d_53$ 的Hessian矩阵第 $海森矩阵和半正定矩阵_取值_57$ 行第 $海森矩阵和半正定矩阵_3d_58$ 个元素为 $海森矩阵和半正定矩阵_2d_53$ 对第 $海森矩阵和半正定矩阵_取值_57$ 个变量先求导，对第 $海森矩阵和半正定矩阵_3d_58$ 个变量后求导的二阶导数，也就是 $海森矩阵和半正定矩阵_3d_62$ ，写成矩阵形式就是：
$海森矩阵和半正定矩阵_极值_63$
回到上面那个Taylor展开式，对于一个凸函数，我们可以试用1st-order condition得到 $海森矩阵和半正定矩阵_2d_64$ 对于任意的 $海森矩阵和半正定矩阵_定义域_65$ 和 $海森矩阵和半正定矩阵_极值_66$ 都成立，那么二次项 $海森矩阵和半正定矩阵_定义域_67$ 必须对于任意的两个自变量 $海森矩阵和半正定矩阵_定义域_65$ 和 $海森矩阵和半正定矩阵_极值_66$ 恒成立，我们这里以增量简写 $海森矩阵和半正定矩阵_极值_70$ ，这个增量可以任意取值，那么需要 $海森矩阵和半正定矩阵_2d_71$ 对于任意一个 $海森矩阵和半正定矩阵_取值_72$ 恒成立，而这就是 $海森矩阵和半正定矩阵_取值_52$ 是半正定的充要条件。