基本术语
优化问题
拉格朗日函数
相对于λ而言(假如x和v已经确定),那么此函数相对于λ来说是线性的,同理关于v也是线性函数
拉格朗日对偶函数
关于λ和v的函数,在x的域中,找到是的L最小的参数
λ,v:拉格朗日乘子
性质
1.对偶函数为凹函数
解释:如果对函数L求极大,则关于λ和v是凸的(因为关于λ和v是分段线性的函数),反之如果对其求极小,则为凹函数
2.
解释:对偶函数的函数值一定小于等于原问题的最优值,原问题最优值的下界
证明:设是原问题最优解,则
当
有
对于任意的λ,v,g(λ,v)一定是的下界,对g(λ,v)求极大可以得到最好的下界
由于g(λ,v)是一个凹函数,极大化g(λ,v),同时加上线性约束,是一个凸问题
例子:
拉格朗日函数
对偶函数
求g(V)的一阶偏导得到
将求出的X带回g(V)求解最小值
由于
为半正定矩阵,前面带有负号为半正定矩阵,所以g(V)为凹函数
例子:
拉格朗日函数
对偶函数
函数的共轭与对偶函数之间的关系:
函数共轭定义
例子:
拉格朗日函数
对偶函数
对偶问题性质
1.对偶问题和原问题
2.最优拉格朗日乘子
例子1:
对偶函数
最大化g(λ,v),如果λ,v有可能使得
成立,取值一定为
,否则取值为负无穷
如果问题的取值为负无穷的话是没有意义的,所以去掉负无穷,只关心实质意义的内容,写成如下对偶问题形式
化简上式得到
例子2:
拉格朗日函数
对偶函数
化简为对偶问题
观察例子1和例子2,例子1的原问题和例子2的对偶问题一致,例子中原问题的对偶问题的对偶问题仍为其自身