一些非线性规划过程与方法利用了目标函数与等式、不等式约束为线性或二次近似这个策略,即f(x),ai(x),cj(x)为线性或二次近似,这样的近似通过使用泰勒级数就能得到。如果f(x)是两个变量x1,x2的函数,使得f(x)∈CP,其中P→∞,即f(x)有任意阶的连续偏导数,那么函数f(x)在[x1+δ1,x2+δ2]上的函数值由泰勒级数可得
f(x1+δ1,x2+δ2)=f(x1,x2)+∂f∂x1δ1+∂f∂x2δ2+12(∂2f∂x21δ21+2∂2f∂x1∂x2δ1δ2+∂2f∂x22δ22)+O(∥δ∥3)
其中
δ=[δ1 δ2]T
O(∥δ∥3)是余项,∥δ∥是δ的欧几里得范数
∥δ=δTδ‾‾‾‾√
符号ϕ(x)=O(x)表示当x趋近零时,ϕ(x)至少与x趋近零的速度一样快,即存在常数K≥0使得
∣∣∣ϕ(x)x∣∣∣≤Kasx→0
其实余项也可以表示成o(∥δ∥2)其中符号phi(x)=o(x) 表示当x接近零时,ϕ(x)接近零的属于比x要快,即
∣∣∣ϕ(x)x∣∣∣→0as x→0
如果f(x)是n个变量的函数,那么f(x)在点[x1+δ1,x2+δ2,…]上的泰勒级数为
f(x1+δ1,x2+δ2,…)=f(x1,x2,…)+∑i=1n∂f∂xiδi+12∑i=1n∑j=1nδi∂2f∂xi∂xjδj+o(∥δ∥2)
用矩阵符号表示为:
f(x+δ)=f(x)+g(x)Tδ+12δTH(x)δ+o(∥δ∥2)
其中g(x)是点x处的梯度,H(x)
当∥δ∥→0时,可以忽略二阶或更高阶的项,这时候就得到f(x+δ)的线性近似
f(x+δ)≈f(x)+g(x)Tδ
同样的,f(x+δ)的二次近似为
f(x+δ)≈f(x)+g(x)Tδ+12δTH(x)δ
泰勒级数还有另一种形式,包含余项
f(x+δ)=f(x)+∑1≤k1+k2+⋯+kn≤P∂k1+k2+⋯+knf(x)∂xk11∂xk22⋯∂xknn∏i=1nδkiiki!+∑k1+k2+⋯+kn=P+1∂P+1f(x+αδ)∂xk1i∂xk22⋯∂xknn∏i=1nδkiiki!
其中0≤α≤1且
∑1≤k1+k2+⋯+kn≤P∂k1+k2+⋯+knf(x)∂xk11∂xk22⋯∂xknn∏i=1nδkiiki!
所有k1,k2,…,kn可能组合的求和,这个泰勒级数的表示是最一般的,因此可以得到f(x+δ)的三次和更高次近似,进一步,还可以用来求线性,二次,三次或更高次的精确封闭形式表达式。如果f(x)∈C1且P=0,那么我们得到
f(x+δ)=f(x)+g(x+αδ)Tδ
如果f(x)∈C2,P=1,那么
f(x+δ)=f(x)+g(x)Tδ+12δTH(x+αδ)δ
其中0≤α≤1,上面那个等式我们通常称为微分中值定理。
通过重组泰勒级数,我们可以得到下面的形式:
f(x+δ=f(x)+g(x)Tδ+12δTH(x)δ+13!D3f(x)+⋯+1(r−1)!Dr−1f(x)+⋯
其中
Drf(x)=∑i1=1n∑i2=1n⋯∑ir=1n{δi1δi2⋯δir∂rf(x)∂xi1∂xi2⋯∂xir}