一、BFGS算法简介


    BFGS算法是使用较多的一种拟牛顿方法，是由Broyden，Fletcher，Goldfarb，Shanno四个人分别提出的，故称为BFGS校正。

    同DFP校正的推导公式一样，DFP校正见博文“ 优化算法——拟牛顿法之DFP算法”。对于拟牛顿方程：


优化算法——拟牛顿法之BFGS算法_拟牛顿法


优化算法——拟牛顿法之BFGS算法_优化算法_02


优化算法——拟牛顿法之BFGS算法_拟牛顿法_03


优化算法——拟牛顿法之BFGS算法_优化算法_04


。

  1. function.py 
#coding:UTF-8
'''
Created on 2015年5月19日

@author: zhaozhiyong
'''

from numpy import *

#fun
def fun(x):
    return 100 * (x[0,0] ** 2 - x[1,0]) ** 2 + (x[0,0] - 1) ** 2

#gfun
def gfun(x):
    result = zeros((2, 1))
    result[0, 0] = 400 * x[0,0] * (x[0,0] ** 2 - x[1,0]) + 2 * (x[0,0] - 1)
    result[1, 0] = -200 * (x[0,0] ** 2 - x[1,0])
    return result
  1. bfgs.py 
#coding:UTF-8

from numpy import *
from function import *

def bfgs(fun, gfun, x0):
    result = []
    maxk = 500
    rho = 0.55
    sigma = 0.4
    m = shape(x0)[0]
    Bk = eye(m)
    k = 0
    while (k < maxk):
        gk = mat(gfun(x0))#计算梯度
        dk = mat(-linalg.solve(Bk, gk))
        m = 0
        mk = 0
        while (m < 20):
            newf = fun(x0 + rho ** m * dk)
            oldf = fun(x0)
            if (newf < oldf + sigma * (rho ** m) * (gk.T * dk)[0,0]):
                mk = m
                break
            m = m + 1
        
        #BFGS校正
        x = x0 + rho ** mk * dk
        sk = x - x0
        yk = gfun(x) - gk
        if (yk.T * sk > 0):
            Bk = Bk - (Bk * sk * sk.T * Bk) / (sk.T * Bk * sk) + (yk * yk.T) / (yk.T * sk)
        
        k = k + 1
        x0 = x
        result.append(fun(x0))
    
    return result
  1. testBFGS.py 
#coding:UTF-8
'''
Created on 2015年5月19日

@author: zhaozhiyong
'''

from bfgs import *

import matplotlib.pyplot as plt  

x0 = mat([[-1.2], [1]])
result = bfgs(fun, gfun, x0)

n = len(result)
ax = plt.figure().add_subplot(111)
x = arange(0, n, 1)
y = result
ax.plot(x,y)

plt.show()


五、实验结果



优化算法——拟牛顿法之BFGS算法_BFGS_05