1.项目背景
差分进化算法(Differential Evolution,DE)由Storn和Price于1995年首次提出,主要用于求解实数优化问题。1996年在日本名古屋举行的第一届国际演化计算(ICEO)竞赛中,差分进化算法被证明是速度最快的进化算法。
差分进化思想来源于遗传算法(GeneticAlgorithm,GA),模拟遗传学中的杂交(crossover)、变异(mutation)、复制(reproduction)来设计遗传算子。该算法是一类基于群体的自适应全局优化算法,属于演化算法的一种。差分进化算法具有结构简单、容易实现、收敛快速、鲁棒性强等特点,被广泛应用在数据挖掘、模式识别、数字滤波器设计、人工神经网络、电磁学等各个领域。
差分进化算法相对于遗传算法而言,相同点都是通过随机生成初始种群,以种群中每个个体的适应度值为选择标准,主要过程也都包括变异、交叉和选择三个步骤。不同之处在于遗传算法是根据适应度值来控制父代杂交,变异后产生的子代被选择的概率值,在最大化问题中适应值大的个体被选择的概率相应也会大一些。而差分进化算法变异向量是由父代差分向量生成,并与父代个体向量交叉生成新个体向量,直接与其父代个体进行选择。显然差分进化算法相对遗传算法的逼近效果更加显著。
本项目通过DE差分进化算法优化支持向量机回归模型。
2.数据获取
本次建模数据来源于网络(本项目撰写人整理而成),数据项统计如下:
数据详情如下(部分展示):
3.数据预处理
3.1 用Pandas工具查看数据
使用Pandas工具的head()方法查看前五行数据:
关键代码:
3.2数据缺失查看
使用Pandas工具的info()方法查看数据信息:
从上图可以看到,总共有8个变量,数据中无缺失值,共1000条数据。
关键代码:
3.3数据描述性统计
通过Pandas工具的describe()方法来查看数据的平均值、标准差、最小值、分位数、最大值。
关键代码如下:
4.探索性数据分析
4.1 y变量分布直方图
用Matplotlib工具的hist()方法绘制直方图:
4.2 相关性分析
从上图中可以看到,数值越大相关性越强,正值是正相关、负值是负相关。
5.特征工程
5.1 建立特征数据和标签数据
关键代码如下:
5.2 数据集拆分
通过train_test_split()方法按照80%训练集、20%测试集进行划分,关键代码如下:
6.构建DE差分进化算法优化支持向量机回归模型
主要使用DE差分进化算法优化SVR算法,用于目标分类。
6.1 算法介绍
说明:DE算法介绍来源于网络,供参考,需要更多算法原理,请自行查找资料。
(1)算法原理:
初始化种群:
在解空间中随机均匀产生M个个体,每个个体由n维向量组成:
第i个个体的第j维值初始化方式如下:
变异操作:
差分进化算法与遗传算法最显著的区别在于DE的个体变异是通过差分策略实现的
在第g次迭代中,从种群中随机选择3个个体Xp1(g),Xp2(g),Xp3(g),且p1≠p2≠p3≠i,生成的变异向量为:
其中 F是缩放因子,F越大,越不容易陷入局部极值点;F越小,越有利于收敛到局部极值点。
交叉操作:
以一定概率让新产生的变异个体与原种群中个体进行交叉重组,增强种群的多样性
其中cr∈[0,1]为交叉概率
选择操作:
不是在所有的Vi ( g ), X_i(g)的总共2M个个体中选出适应度最高的那M个个体,而是对于这一代的每个个体的Vi( g ) 和Xi ( g )都进行一次判断,留下适应度最好的那个作为下一代同样位置上的个体。
对于每个个体, Xi(g+1)要好于或持平于 Xi(g)。
(2)算法步骤:
step1:确定差分进化算法控制参数,确定适应度函数。差分进化算法控制参数包括:种群大小NP、缩放因子F与杂交概率CR。
step2:随机产生初始种群。
step3:对初始种群进行评价,即计算初始种群中每个个体的适应度值。
step4:判断是否达到终止条件或进化代数达到最大。若是,则终止进化,将得到最佳个体作为最优解输出;若否,继续。
step5:进行变异和交叉操作,得到中间种群。
step6:在原种群和中间种群中选择个体,得到新一代种群。
step7:进化代数g=g+1,转step4。
(3)参数说明与选择:
- 种群规模(M):一般介于5n到10n之间,但不能少于4,否则变异算则无法进行。
- 缩放因子(F):F主要影响算法的全局寻优能力。F越小,算法对局部的搜索能力更好,F越大算法越能跳出局部极小点,但是收敛速度会变慢。此外,F还影响种群的多样性。F一般取[0,2],通常取0.5
- 交叉概率(cr):反映的是在交叉的过程中,子代与父代、中间变异体之间交换信息量的大小程度。CR的值越大,信息量交换的程度越大。反之,如果CR的值偏小,将会使种群的多样性快速减小,不利于全局寻优。cr一般取[0,1]。CR越大,收敛速度越快,但易发生早熟现象。
6.2 DE差分进化算法寻找最优参数值
关键代码:
迭代过程数据:
最优参数:
6.3 最优参数值构建模型7.模型评估
7.1评估指标及结果
评估指标主要包括R方、均方误差、解释性方差、绝对误差等等。
从上表可以看出,R方分值为0.9992,说明模型效果较好。
关键代码如下:
7.2 真实值与预测值对比图
从上图可以看出真实值和预测值波动基本一致,模型效果较好。
8.结论与展望
综上所述,本文采用了DE差分进化算法寻找支持向量机SVR算法的最优参数值来构建回归模型,最终证明了我们提出的模型效果良好。此模型可用于日常产品的预测。
# 本次机器学习项目实战所需的资料,项目资源如下:
# 项目说明:
# 链接:https://pan.baidu.com/s/1Z_3TFW-FX47nGZoY1sDM6Q
# 提取码:99t4
# 查看数据前5行
print('*************查看数据前5行*****************')
print(df.head())
# 数据缺失值统计
print('**************数据缺失值统计****************')
print(df.info())
# 描述性统计分析
print(df.describe())
print('******************************')
# y变量分布直方图
fig = plt.figure(figsize=(8, 5)) # 设置画布大小
plt.rcParams['font.sans-serif'] = 'SimHei' # 设置中文显示
plt.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题
data_tmp = df['y'] # 过滤出y变量的样本
# 绘制直方图 bins:控制直方图中的区间个数 auto为自动填充个数 color:指定柱子的填充色
plt.hist(data_tmp, bins='auto', color='g')
plt.xlabel('y')
plt.ylabel('数量')