bp神经网络需要归一化 bp神经网络归一化怎么做

第三节  BP神经网络在matlab的实现

人工神经元模型

BP的两种思想

   误差反向传播

应用梯度下降法，更新后的权重 = 原有权重 + 误差项 = 原有权重 + 学习率 * 误差率 *微分项

输入数据切记归一化问题

什么是归一化？

–将数据映射到[0, 1]或[-1, 1]区间或其他的区间。

为什么要归一化？

–输入数据的单位不一样，有些数据的范围可能特别大，导致的结果是神经网络收敛慢、训练时间长。

–数据范围大的输入在模式分类中的作用可能会偏大，而数据范围小的输入作用就可能会偏小。

–由于神经网络输出层的激活函数的值域是有限制的，因此需要将网络训练的目标数据映射到激活函数的值域。例如神经网络的输出层若采用S形激活函数，由于S形函数的值域限制在(0,1)，也就是说神经网络的输出只能限制在(0,1)，所以训练数据的输出就要归一化到[0,1]区间。

–S形激活函数在(0,1)区间以外区域很平缓，区分度太小。例如S形函数f(X)在参数a=1时，f(100)与f(5)只相差0.0067。

归一化算法

–y = ( x - min )/( max - min )
  
–y = 2 * ( x - min ) / ( max - min ) - 1

重点函数解读

mapminmax             归一化函数
 
newff                                       创建前向神经网络函数
 
代码
 
%% I. 清空环境变量
 
clear all
 
clc
 
 
%% II. 训练集/测试集产生
 
%%
 
% 1. 导入数据
 
load spectra_data.mat
 
 
%%
 
% 2. 随机产生训练集和测试集
 
temp = randperm(size(NIR,1));        随机产生1到60的随机数
 
% 训练集——50个样本
 
P_train = NIR(temp(1:50),:)';        取出前五十作为训练集   P为训练集的输入T为训练集的输出
 
T_train = octane(temp(1:50),:)';
 
% 测试集——10个样本
 
P_test = NIR(temp(51:end),:)';       后十个取出作为测试集
 
T_test = octane(temp(51:end),:)';
 
N = size(P_test,2);                  取出测试集样本个数
 
 
%% III. 数据归一化
 
[p_train, ps_input] = mapminmax(P_train,0,1);
 
p_test = mapminmax('apply',P_test,ps_input);        将训练集和测试集的输入进行归一化处理
 
[t_train, ps_output] = mapminmax(T_train,0,1);      将训练集的输出进行归一化处理
 
 
%% IV. BP神经网络创建、训练及仿真测试
 
%%
 
% 1. 创建网络
 
net = newff(p_train,t_train,9);      
 
            用newff创建神经网络，newff（输入，输出，隐藏层神经元个数）
 
%%
 
% 2. 设置训练参数
 
net.trainParam.epochs = 1000;        迭代次数
 
net.trainParam.goal = 1e-3;          训练目标
 
net.trainParam.lr = 0.01;            学习率
 
%%
 
% 3. 训练网络
 
net = train(net,p_train,t_train);
 
 
%%
 
% 4. 仿真测试
 
t_sim = sim(net,p_test);
 
 
%%
 
% 5. 数据反归一化
 
T_sim = mapminmax('reverse',t_sim,ps_output);
 
 
%% V. 性能评价
 
%%
 
% 1. 相对误差error
 
error = abs(T_sim - T_test)./T_test;
 
 
%%
 
% 2. 决定系数R^2
 
R2 = (N * sum(T_sim .* T_test) - sum(T_sim) * sum(T_test))^2 / ((N * sum((T_sim).^2) - (sum(T_sim))^2) * (N * sum((T_test).^2) - (sum(T_test))^2));
 
 
%%
 
% 3. 结果对比
 
result = [T_test' T_sim' error']
 
 
%% VI. 绘图
 
figure
 
plot(1:N,T_test,'b:*',1:N,T_sim,'r-o')
 
legend('真实值','预测值')
 
xlabel('预测样本')
 
ylabel('辛烷值')
 
string = {'测试集辛烷值含量预测结果对比';['R^2=' num2str(R2)]};
 
title(string)

参数对BP神经网络性能的影响

n隐含层神经元节点个数

n激活函数类型的选择

n学习率

n初始权值与阈值

n……

n交叉验证（cross validation）

n训练集（training set）

n验证集（validation set）

n测试集（testing set）

n留一法（Leave one out, LOO）