粒子群算法bp神经网络 粒子群算法用来干嘛

粒子群算法PSO

• 1. 粒子群算法
• 2. 算法流程

• 2.1 公式解读
• 2.2 初始化
• 2.3 计算流程
• 2.4 示例

1. 粒子群算法

粒子群算法（Particle Swarm Optimization）是一种优化算法，其主要思想受到自然界鸟群飞行的启发。
对一群鸟群来说，其群体觅食行为呈现一定规律：单只鸟并不知道食物地在哪里，但可以通过飞行中对食物的远离程度来纠正自己的飞行。体现在单只鸟上可能并不明显，但当鸟群数量多起来之后，就可以利用鸟群数量弥补单只鸟搜索能力的不足，逐渐逼近最优值。而在这个过程中，整个系统还需要满足一定的性能指标（称为代价函数）。

2. 算法流程

首先设定一个搜索的范围
$X \in \left[ X_{min}, X_{max} \right] \tag{1}$此即为每个粒子（每只鸟）的搜索范围。
还要定义每个粒子搜索的速度
$v \in \left[ v_{min}, v_{max} \right] \tag{2}$该量的具体含义在后面给出。
此外还有一些量需要提前初始化：
$N_{par}$ – 粒子个数，$N_{dim}$ – 每个粒子的维度（包含几个自变量），$iter$

2.1 公式解读

粒子群算法的核心公式为
$\begin{aligned} p_{k+1} &= p_k + v_k \\ v_{k+1} &= w \cdot v_k + rand * c_1 \cdot \left( X_{opt, p} - p_k \right) + rand * c_2 \cdot \left( X_{opt, g} - p_k \right) \end{aligned} \tag{3}$该公式含义为：每第k次迭代计算的粒子群$p_k$的搜索范围，应当是在上一次搜索范围$p_{k-1}$基础上加上一个增量$v_{k-1}$，具象地来说就是每次的搜索域都“挪动”一个小范围，进行地毯式搜索。
而这个“挪动”的范围$v_k$，需要考虑三方面内容：上一次挪动范围，上一次的局部最优范围$X_{opt, p}$和上一次的搜索范围之差，以及上一次的全局搜索范围$X_{opt, g}$和上一次的搜索范围之差。
换言之，$v_{k+1}$考虑了上一次的$v_k$，上一次的局部最优，以及上一次的全局最优。这样，粒子运动时就会综合考虑局部最优、全局最优、历史影响三者，能兼顾到随机性和全局最优性。

2.2 初始化

粒子群算法的初始化公式为
$p_0 = X_{min} + rand * \left( X_{max} - X_{min} \right), \quad rand \in [0,1] \tag{4}$$v_0 = v_{min} + rand * \left( v_{max} - v_{min} \right), \quad rand \in [0,1] \tag{5}$公式含义为：粒子群$p_0$的搜索范围，应当是在$X_{min}$基础上加上一个增量，该增量前的系数为一随机数，保证了算法随机搜索的能力，但同时该随机数应当在$[0,1]$范围内，以便保证搜索域$p_0$依然能满足条件(1)。$v_0$同理。

2.3 计算流程

将初始搜索域的所有粒子代入代价函数计算代价函数的值：
$J_0 = cost(p_0)$随后利用公式（3）进行更新，并代入代价函数计算每一次迭代的代价函数值：
$J_k = cost(p_k)$计算后，若该$J_k$为目前出现过的最小/大值，则记录下来
$J_{max/min} = J_k$依次循环，每次利用随机数得出新的搜索域，并更新$J_{max/min}$，以便使得代价函数始终为极值。

值得注意的是，对于$p_k$和$v_k$，每次迭代前都需要进行限幅saturation：
$\begin{cases} if \quad p_k \geq X_{max}, \quad p_k = X_{max} \\ if \quad p_k \leq X_{min}, \quad p_k = X_{min} \\ if \quad v_k \geq v_{max}, \quad v_k = v_{max} \\ if \quad v_k \leq v_{min}, \quad v_k = v_{min} \\ \end{cases}$

2.4 示例

设二维搜索空间为$X = \left[ \begin{matrix} x_1 & x_2 \end{matrix} \right]^T$，代价函数为

$J=\left( x_1 - 1 \right) ^2 - \cos{ \left[ \frac{2 \pi }{30} \left( x_2 - 15 \right) \right]}$设粒子数$N_{par} = 50$，迭代次数$iter = 50$，惯性系数$w=0.8$，学习系数$c_1 = c_2 = 0.5$，搜索范围$X \in \left[ -5,20 \right]$，速度增量范围$v \in \left[ -2,2 \right]$。

对于此二维问题，可以找到最优解：

$x_1 = 1.00, x_2 = 14.99$其搜索空间为

图中黑点为随机搜索的点，红色三角为最优点。