1. 研究背景

它的基本概念源于对鸟群觅食行为的研究。

设想这样一个场景:一群鸟在随机搜寻食物,在这个区域里只有一块食物,所有的鸟都不知道食物在哪里,但是它们知道当前的位置离食物还有多远。

最简单有效的策略:寻找鸟群中离食物最近的个体来进行搜索。

PSO算法就从这种生物种群行为特性中得到启发并用于求解优化问题。

用一种粒子来模拟上述的鸟类个体,每个粒子可视为N维搜索空间中的一个搜索个体,粒子的当前位置即为对应优化问题的一个候选解,粒子的飞行过程即为该个体的搜索过程.粒子的飞行速度可根据粒子历史最优位置和种群历史最优位置进行动态调整.

粒子仅具有两个属性:速度和位置,速度代表移动的快慢,位置代表移动的方向。每个粒子单独搜寻的最优解叫做个体极值,粒子群中最优的个体极值作为当前全局最优解。不断迭代,更新速度和位置。最终得到满足终止条件的最优解

粒子群优化算法(PSO),粒子群中的每一个粒子都代表一个问题的可能解,通过粒子个体的简单行为,群体内的信息交互实现问题求解的智能性。由于PSO操作简单、收敛速度快,因此在函数优化、图像处理、大地测量等众多领域都得到了广泛应用。

2. 基本概念的数学描述

粒子:PSO中粒子为基本组成单位,代表解空间中的一个候选解。设解向量为粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_粒子群维,则当算法迭代次数为t,第粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_搜索_02个粒子可以表示为

粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_搜索_03

,其中

粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_粒子群_04

表示第粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_迭代_05个粒子在第粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_搜索_06维解空间中的位置,即第粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_迭代_07个候选解中的第粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_最优解_08个待优化变量。粒子群:是由粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_粒子群_09个粒子组成的群体,代表粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_搜索_10个候选解,经过粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_粒子群_11次迭代产生的种群

粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_粒子群_12

,其中

粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_最优解_13

为总群中第粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_粒子群_14个粒子。粒子的速度:表示粒子在单位迭代次数位置的变化即为代表解变量的粒子在粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_最优解_15维空间的位移,

粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_迭代_16

,其中

粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_粒子群_17

为第粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_粒子群_18个粒子在解空间第粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_迭代_19维的速度。标准的PSO算法:设搜索空间为粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_最优解_20维,粒子数为粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_粒子群_21,第粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_搜索_22个粒子的位置为

粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_搜索_23

;第粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_粒子群_24个粒子的速度变化率为

粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_最优解_25

;第粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_迭代_26个粒子迄今为止搜索到的最好位置为

粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_搜索_27

;整个粒子群迄今为止搜索到的最好位置为

粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_粒子群_28

。对于每一次迭代,第粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_搜索_29个粒子在第粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_粒子群_30维运动的表达式为:

粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_搜索_31

 (1)

粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_最优解_32

  (2)

粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_粒子群_33

其中

粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_迭代_34

为正常数,称为加速因子,前者为每个粒子哥个体学习因子,后者为每个粒子的社会学习因子;

粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_粒子群_35


粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_粒子群_36

之间的随机数;粒子群算法优化LSTM pytorch 代码 粒子群优化算法案例_迭代_37称为惯性因子,较大时全局寻优能力强,局部寻优能力弱;较小时全局寻优能力弱,局部寻优能力强。

3. 算法流程

 1、初始化

首先,我们设置最大迭代次数,目标函数的自变量个数,粒子的最大速度,位置信息为整个搜索空间,我们在速度区间和搜索空间上随机初始化速度和位置,设置粒子群规模为M,每个粒子随机初始化一个飞翔速度。

2、 个体极值与全局最优解

定义适应度函数,个体极值为每个粒子找到的最优解,从这些最优解找到一个全局值,叫做本次全局最优解。与历史全局最优比较,进行更新。

3、 更新速度和位置(见公式(1)和公式(2))

4、 终止条件:

(1)达到设定的迭代次数

(2)代数之间的差值满足最小界限

4. Python实现完整代码

import numba
import numpy as np
import matplotlib.pyplot as plt


@numba.njit()
def ras(x): # 适应度函数
   
y = 20 + x[0]**2 + x[1]**2 - 10*(np.cos(2*np.pi*x[0])+np.cos(2*np.pi*x[1]))
    return y


def pso():
    w = 1.0
    c1, c2 = 1.49445, 1.49445   # 学习因子
   
max_gen = 1000  # 最大进化次数
   
sizepop = 20  # 种群规模

   
v_min, v_max = -1, 1  # 速度限制范围
   
pop_min, pop_max =-5, 5  # 位置限制范围

   
np.random.seed(100)
    pop = 5* np.random.uniform(-1,1,(2,sizepop))  # 初始化种群位置
   
v = np.random.uniform(-1,1, (2,sizepop))  # 初始化种群速度

   
fitness = ras(pop)  # 计算适应度
   
i = np.argmin(fitness)  # 找最好的个体
   
g_best = pop  # 记录群体最优位置
   
z_best = pop[:, i]  # 个体最优位置
   
fitness_gbest = fitness  # 记录群体最优适应度
   
fitness_zbest = fitness[i]  # 个体最优适应度

   
t=0  # 进化次数
   
record = np.zeros(max_gen)  # 记录群体最优适应度
   
while t < max_gen:
        # 速度更新
       
v = w*v+c1*np.random.random()*(g_best-pop)+c2*np.random.random()*(z_best.reshape(2,1)-pop)
        v[v>v_max] = v_max  # 限制速度
       
v[v<v_min] = v_min

        # 位置更新
       
pop = pop + 0.5*v
        pop[pop>pop_max] = pop_max  # 位置限制
       
pop[pop<pop_min] = pop_min
        fitness = ras(pop)  # 计算适应度值

        # 个体最优位置更新
       
index = fitness < fitness_gbest
        fitness_gbest[index] = fitness[index]
        g_best[:, index] = pop[:, index]

        # 群体最优更新
       
j = np.argmin(fitness)
        if fitness[j] < fitness_zbest:
            z_best = pop[:, j]
            fitness_zbest = fitness[j]
        record[t] = fitness_zbest  # 记录群体最优位置的变化
       
print(t, fitness_zbest)  # 打印适应度值
       
t += 1

    # 结果分析
   
print("zbest:", z_best) # 打印最优位置
   
plt.plot(record, "b-")
    plt.xlabel('times')
    plt.ylabel('fitness')
    plt.title("fitness cureve")
    plt.show()


if __name__ == '__main__':
    pso()

5. 总结与改进

和其他群只能算法一样,PSO算法在优化过程中,种群的多样性和算法的收敛速度之前始终存在着矛盾,对标准PSO算法的改进,无论是参数的选取、小生境技术的采用或者其他技术与PSO的融合,其目的都是希望在加强算法局部搜索能力的同时,保持种群的多样性,防止算法在快速收敛的同时出现早熟收敛。

优点:

(1)它是一类不确定算法。不确定性体现了自然界生物的生物机制,并且在求解某些特定问题方面优于确定性算法。

(2)是一类概率型的全局优化算法。非确定算法的优点在于算法能有更多机会求解全局最优解。

(3)不依赖于优化问题本身的严格数学性质。

(4)是一种基于多个智能体的仿生优化算法。粒子群算法中的各个智能体之间通过相互协作来更好的适应环境,表现出与环境交互的能力。

(5)具有本质并行性。包括内在并行性和内含并行性。

(6)具有突出性。粒子群算法总目标的完成是在多个智能体个体行为的运动过程中突现出来的。

(7)具有自组织和进化性,以及记忆功能,所有粒子都保存优解的相关知识。

(8) 都具有稳健性。稳健性是指在不同条件和环境下算法的实用性和有效性,但是现在粒子群算法的数学理论基础还不够牢固,算法的收敛性还需要讨论。

改进:

(1)调整PSO的参数来平衡算法的全局探测和局部开采能力。如Shi和Eberhart对PSO算法的速度项引入了惯性权重,并依据迭代进程及粒子飞行情况对惯性权重进行线性(或非线性)的动态调整,以平衡搜索的全局性和收敛速度。2009年张玮等在对标准粒子群算法位置期望及方差进行稳定性分析的基础上,研究了加速因子对位置期望及方差的影响,得出了一组较好的加速因子取值。

(2)设计不同类型的拓扑结构,改变粒子学习模式,从而提高种群的多样性,Kennedy等人研究了不同的拓扑结构对SPSO性能的影响。针对SPSO存在易早熟收敛,寻优精度不高的缺点,于2003年提出了一种更为明晰的粒子群算法的形式:骨干粒子群算法(Bare Bones PSO,BBPSO)。

(3)将PSO和其他优化算法(或策略)相结合,形成混合PSO算法。如曾毅等将模式搜索算法嵌入到PSO算法中,实现了模式搜索算法的局部搜索能力与PSO算法的全局寻优能力的优势互补。

(4)采用小生境技术。小生境是模拟生态平衡的一种仿生技术,适用于多峰函数和多目标函数的优化问题。例如,在PSO算法中,通过构造小生境拓扑,将种群分成若干个子种群,动态地形成相对独立的搜索空间,实现对多个极值区域的同步搜索,从而可以避免算法在求解多峰函数优化问题时出现早熟收敛现象。 Parsopoulos提出一种基于“分而治之”思想的多种群PSO算法,其核心思想是将高维的目标函数分解成多个低维函数,然后每个低维的子函数由一个子粒子群进行优化,该算法对高维问题的求解提供了一个较好的思路。

不同的发展方向代表不同的应用领域,有的需要不断进行全局探测,有的需要提高寻优精度,有的需要全局搜索和局部搜索相互之间的平衡,还有的需要对高维问题进行求解。这些方向没有谁好谁坏的可比性,只有针对不同领域的不同问题求解时选择最合适的方法的区别。