智能优化算法：基于梯度的优化算法-附代码

智能优化算法：基于梯度的优化算法

文章目录

• 智能优化算法：基于梯度的优化算法

• 1.算法原理

• 1.1初始化
• 1.2 梯度搜索规则（GSR）
• 1.3 局部逃逸操作

• 2.算法结果
• 3.参考文献
• 4.Matlab代码

摘要：基于梯度的优化算法（Gradient-based optimizer，GBO）是于2020年提出的一种新型智能优化算法，该算法受基于梯度的牛顿方法启发，具有结构简单，寻优能力强等特点。

1.算法原理

该算法主要使用两种算子：梯度搜索规则(Gradient search rule, GSR)和局部逃逸算子(Local escaping operator, LEO)以及一组向量来探索搜索空间。GSR采用基于梯度的方法来增强搜索趋势并加快收敛速度，从而在搜索空间中获得更好的位置；LEO使得提出的GBO能够避开局部最优解。

1.1初始化

通常，GBO的初始向量在D维搜索空间中随机生成，可定义为：
$X_n=X_{min}+rand*(X_{max}-X_{min})\tag{1}$
其中$X_{min}$和$X_{max}$分别为变量的上下限。$rand$为[0,1]之间的随机数。

1.2 梯度搜索规则（GSR）

提出的梯度搜索规则（$GSR$），考虑了优化过程的随机行为，提升了算法的探索能力，避免陷入局部最优。移动方向(Direction of movement, DM)用于产生适合的搜索方向，以提高GBO算法的收敛速度。基于GSR和DM，下列公式用于更新当前向量$(x_n^m)$的位置：
$X1_n^m=x_n^m-randn*\rho_1*\frac{2\Delta x*x_n^m)}{x_{worst}-x_{best}+\varepsilon} + rand*\rho_2*(x_{best}-x_n^m)\tag{2}$
其中：
$\rho_1=2*rand*\alpha-\alpha \tag{2-1}$

$\rho_2=2*rand*\alpha-\alpha \tag{2-2}$

$\alpha = |\beta*sin(3\pi/2+sin(\beta*3\pi/2))|\tag{2-3}$

$\beta=\beta_{min}+(\beta_{max}-\beta_{min})*(1-(m/M)^3)^2\tag{2-4}$

$\Delta x=rand(1:N)*|step| \tag{2-5}$

$step=\frac{x_{best-x_{r1}^m}+\delta}{2}\tag{2-6}$

$\delta=2*rand*(|(x_{r1}^m+x_{r2}^m+x_{r3}^m+x_{r4}^m)/4-x_n^m|)\tag{2-7}$

其中，$\beta_{\min}$ 和$\beta_{max}$ 分别为0.2和1.2，$m$为当前迭代次数，$M$为最大迭代次数，$randn$表示标准正态分布随机数，$\varepsilon$是[ 0 , 0.1 ] 之间的很小的正数。rand(1:N)是 [0,1]间的N维随机向量$r_1,r_2,r_3,r_4(r_1\neq r_2\neq r_3\neq r_4)$是从 $[1,N]$中随机选择的互不相等的整数， $step$是由$x_{best}$和$x_{r_1}^m$决定的步长。

通过用式(2)中的当前向量$(x_n^m)$替换最佳向量$(x_{best})$的位置，可以生成如下新向量$(X2_n^m)$:
$X2_n^m=x_{best}-randn*\rho_1*\frac{2\Delta x*x_n^m}{yp_n^m-yq_n^m+\varepsilon} + rand*\rho_2*(x_{r1}^m-x_{r2}^m)\tag{3}$
其中：
$yp_n=rand*(\frac{[z_{n+1}+x_n]}{2}+rand*\Delta x)\tag{3-1}$

$yq_n =rand*(\frac{[z_{n+1}+x_n]}{2}-rand*\Delta x)\tag{3-2}$

$z_{n+1} = x_n -randn*\frac{2\Delta x*x_n}{(x_{worst}-x_{best})+\varepsilon}$

基于位置$X1_n^m$和当前位置$X2_n^m$，下一次迭代产生的新位置$x_n^{m+1}$定义为：
$x_n^{m+1}=r_a*(r_b*X1_n^m+(1-r_b)*X2_n^m)+(1-r_a)*X3_n^m \tag{4}$
其中:
$X3_n^m=x_n^m-\rho_1*(X2_n^m-X1_n^m)\tag{4-1}$
其中$r_a$和$r_b$为[0,1]之间的随机数。

1.3 局部逃逸操作

LEO的引入提高了GBO算法求解复杂问题的效率。LEO通过使用多个解生成一个性能优越的解$X_{LEO}^m$，其中包括最佳位置$X_{best}$ 、位置$X1_n^m$和$X2_n^m$、两个随机位置$X_{r1}^m$和$X_{r2}^m$以及一个新的随机位置$X_{k}^m$ 。新的位置$X_{LEO}^m$由以下公式产生：
$X_n^{m+1}=X_{LEO}^m=\begin{cases} X_n^{m+1}+f_1(u_1*x_{best}-u_2*x_k^m)+f_2*\rho_1*(u_3*(X2_n^m-X1_n^m)+u2*(x_{r1}^m-x_{r2}^m))/2,rand<pr,rand<0,5 \\ X_{best}+f_1(u_1*x_{best}-u_2*x_k^m)+f_2*\rho_1*(u_3*(X2_n^m-X1_n^m)+u2*(x_{r1}^m-x_{r2}^m))/2,rand<pr,rand\geq 0,5 \end{cases}\tag{5}$
其中，$f_1$为[-1,1]的随机数，$f_2$为标准正态分布随机数，$p_r$为一个概率值，$u_1,u_2,u_3$为三个随机整数，其计算如下：
$u_1=2*L_1*rand+(1-L_1)\tag{5-1}$

$u_2=L_1*rand+(1-L_1)\tag{5-2}$

$u_3=2*L_1*rand+(1-L_1)\tag{5-3}$

其中，$L_1$是一个值为0或1的二进制参数，如果参数$\mu_1<0.5$，则$L_1$的值为1，否则为0。为了确定式(5)中的$x_k^m$ ，采用以下方案：
$x_k^m=\begin{cases} X_{min}+rand*(X_{max}-X_{min}) ,u_2<0.5\\ x_p^m,else \end{cases}\tag{5-4}$
其中$x_p^m$是在种群中随机选择的一个解，$\mu_2$是[0,1]之间的随机数。式（5-4）可以简化为：
$x_k^m=L_2*x_p^m+(1-L_2)\tag{5-5}$
其中，$L_2$是一个值为0或1的二进制参数，如果参数$\mu_2$小于0.5，则$L_1$的值为1，否则为0。

算法伪代码如下：

2.算法结果

3.参考文献

[1] Iman Ahmadianfar, Omid Bozorg-Haddad, Xuefeng Chu. Gradient-based optimizer: A new metaheuristic optimization algorithm[J]. Information Sciences, 2020, 540: 131-159.

4.Matlab代码