bp神经网络拓扑结构 bp神经网络构建

 

BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。

在一般的BP神经网络中，单个样本有m个输入和n个输出，在输入层和输出层之间还有若干个隐藏层h，实际上 1989年时就已经有人证明了一个万能逼近定理 ：

在任何闭区间的连续函数都可以用一个隐藏层的BP神经网络进行任意精度的逼近。

所以说一个三层的神经网络就可以实现一个任意从m维到n维的一个映射,这三层分别是 输入层、隐藏层、输出层 。

一般来说，在BP神经网络中，输入层和输出层的节点数目都是固定的，关键的就是在于隐藏层数目的选择，隐藏层数目的选择决定了神经网络工作的效果。

BP神经网络的工作原理分为两个过程 ：
1、工作信号正向传递子过程
2、 误差信号逆向传递过程

---

 实验目的：搭建BP神经网络（包括模型层的定义和正向反向传播过程），训练出表格中"?"处的数据。

 

 导入数据：

data_tr = pd.read_csv(r'3.3 data_te1.txt')  # 训练集样本
data_te = pd.read_csv(r'3.3 data_tr1.txt')  # 测试集样本
n = len(data_tr)
yita = 0.85

其余代码见下面”完整代码“部分。

运行结果如下：
图1为对训练集进行1000轮训练，曲线代表训练集上每一轮的平均误差。

 

 图1

预测结果：

即9、10处的y值各为

0.18291413127495168
0.18291413127495168

图2为对测试集进行训练，曲线代表测试集上每一轮的误差。

 

图2

 

---

 

以上是小规模样本，下面导入大规模样本数据并用图形展示BP神经网络训练过程和误差。完整代码如下：

1.导入库

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import matplotlib

2.定义激活函数sigmoid

def sigmoid(x):    # 定义网络激活函数
    return 1/(1+np.exp(-x))

3.导入训练集和测试集样本

data_tr = pd.read_csv(r'3.3 data_te.txt')  # 训练集样本
data_te = pd.read_csv(r'3.3 data_tr.txt')  # 测试集样本
n = len(data_tr)
yita = 0.85

4.设置神经网络结构及参数

out_in = np.array([0, 0, 0, 0, -1])   # 输出层的输入，即隐层的输出
w_mid = np.zeros([3,4])  # 隐层神经元的权值&阈值
w_out = np.zeros([5])     # 输出层神经元的权值&阈值
delta_w_out = np.zeros([5])      # 输出层权值&阈值的修正量
delta_w_mid = np.zeros([3,4])   # 中间层权值&阈值的修正量
Err = []

5.训练模型

'''
BP神经网络模型训练
'''
for j in range(1000):
    error = []
    for it in range(n):  #训练集有n条记录
        net_in = np.array([data_tr.iloc[it, 0], data_tr.iloc[it, 1], -1])  # 网络输入
        real = data_tr.iloc[it, 2]    #第it行第2列的值，也就是此记录的真实值
        for i in range(4):
            out_in[i] = sigmoid(sum(net_in * w_mid[:, i]))  # 从输入到隐层的传输过程
        res = sigmoid(sum(out_in * w_out))   # 预测值
        error.append(abs(real-res))#第一条记录的误差

        # print(it, '个样本的模型输出：', res, 'real:', real)
        delta_w_out = yita*res*(1-res)*(real-res)*out_in  # 输出层权值的修正量
        delta_w_out[4] = -yita*res*(1-res)*(real-res)     # 输出层阈值的修正量
        w_out = w_out + delta_w_out   # 更新，加上修正量

        for i in range(4):
            delta_w_mid[:, i] = yita*out_in[i]*(1-out_in[i])*w_out[i]*res*(1-res)*(real-res)*net_in   # 中间层神经元的权值修正量
            delta_w_mid[2, i] = -yita*out_in[i]*(1-out_in[i])*w_out[i]*res*(1-res)*(real-res)         # 中间层神经元的阈值修正量,第2行是阈值
        w_mid = w_mid + delta_w_mid   # 更新，加上修正量
    # error=[error1,error2,...,error500] np.mean(error):500条记录的平均误差
    Err.append(np.mean(error))
print(w_mid,w_out)
#训练集上每一轮的平均误差，对训练集进行1000轮训练
plt.plot(Err, linewidth = '1', label = "Ren35_test", color='forestgreen', linestyle=':', marker='|')
plt.legend(loc='upper left')
plt.show()
plt.close()

 

图3

 

 

6.将测试集样本放入训练好的BP神经网络模型中去

'''
将测试集样本放入训练好的BP神经网络模型中去
'''
error_te = []
score=[]
m=len(data_te)
for it in range(m):    #测试集有m条记录
    net_in = np.array([data_te.iloc[it, 0], data_te.iloc[it, 1], -1])  # 网络输入
    real = data_te.iloc[it, 2]
    for i in range(4):
        out_in[i] = sigmoid(sum(net_in * w_mid[:, i]))  # 从输入到隐层的传输过程
    res = sigmoid(sum(out_in * w_out))   # 模型预测值
    print(res)
    error_te.append(abs(real-res))
    
    if(abs(real-res)<0.1718):
        score.append(1)
    else:
        score.append(0)
score_array = np.asfarray(score)
print("测试集进行1轮测试的正确率是：",(score_array.sum()/score_array.size)*100,'%')

#测试集上每一轮的误差
plt.plot(error_te, linewidth = '1', label = "Ren35_test", color='forestgreen', linestyle=':', marker='|')
plt.legend(loc='upper left')

plt.show()
err2=np.mean(error_te)
print("测试集进行1轮测试的平均误差:",err2)

输出预测值：

【P.S.预测值过多，仅截此图示意】

图4

 

---

 

路漫漫其修远兮，吾将上下而求索