深夜里,你不断徘徊在我的心田,


你的每一句誓言都在耳边回荡,


你闪动的双眼隐藏着你的羞涩。


天天想你,


天天守住一颗心,


我会把最好的爱留给你。

——畅宝宝的傻逼哥哥


函数的极值是它的极大值与极小值,函数取极小值(极大值)的点称为极小值(极大值)点,有几种不同类型的极小值点(极大值点),即局部或全局,弱或强。

定义1:对点x∗∈R,其中R是可行域,如果存在ϵ>0使得如果


x∈R,∥x−x∗∥<ϵ


f(x)≥f(x∗)

,那么称该点为弱局部极小值点。

定义2:如果对所有x∈R,f(x)≥f(x∗),那么称点x∗∈R为f(x)的弱全局极小值点。

如果点x∗满足定义2,那么自然满足定义1,所以全局极小值点也是局部极小值点。

定义3:如果定义1或定义2中的大于等于改成大于


f(x)>f(x∗)

,那么称x∗为强局部(或全局)极小值点。

E2中的强全局极小如图1所示。

弱或强与局部或全局极大值点通过反转一下上面的符号即可。

例1:图2中函数的可行域定义为集合


R={x:x1≤x≤x2}

,求出最小值点。

解:函数在点B有弱局部极小值,在A,C,D有强局部极小值,在C有强全局极小值。


个体极值pbestb 个体极值全局极值_优化算法


图1

对于一般的最优化问题,我们原则上是找f(x)的全局极小值。实践中,优化问题可能有两个或更多的局部极小值,因为优化算法一般都是从解的估计值开始,不断迭代,最后会收敛到一个值,那么其他的局部极小就会错过。如果错过了全局极小,那么我们得到的是次最优解,当然也可能得不到。这个问题通过多运行几次优化算法且从不同的初始值开始,可能会找出几个不同的局部极小,如果该方法成功,那我们找出里面最小的值作为最佳极小值点,虽然从实际角度可以接受这样的街,但是无法保证达到全局极小值,因此处于简便,一般优化问题中的最小化f(x)解释为找f(x)的局部极小值。

对于某些特殊问题,也就是f(x),R满足一些凸的性质,f(x)的任何局部极小也是f(x)的全局极小。对这类问题可以保证最优解。



个体极值pbestb 个体极值全局极值_优化算法_02


图2