BP神经网络中relu激活函数怎么写 bp神经网络激活函数选择

人工神经网络是一种模拟生物神经网络进行信息处理的数学模型。人工神经网络的设计是以人工神经元为基础的。它也是人工神经网络操作的基本信息处理单位。

上图为人工神经元模型。图中的激活函数有如下几种激活函数

在分类与预测，δ学习规则（误差校正学习算法）是使用最为广泛的一种。

常用的用来实现否对、、分类和预测的人工神经网络算法有人工神经网络

BP神经网络的学习算法是δ学习规则，目标函数采用$E = \displaystyle\sum_{k=1}^{N} [Y_k-T_k]^2$

BP神经网络算法

了解BP算法学习过程

由于sklearn中没有神经网络模型，因此在Python中比较好的神经网络算法库是Keras。只是作为一个基本的神经网络算法库。

接着通过代码来简单的实现BP网络模型。建立的是一个有3各输入节点、10个隐藏节点和1个输出节点。

代码
在写代码的过程中有遇到如下的问题

1. TypeError: Dense can accept only 1 positional arguments (‘units’,), but you passed the following positional arguments: [3, 10]
   
   需要将该段代码修改如下

model = Sequential()  # 建立模型
model.add(Dense(input_dim=3, units=10))
model.add(Activation('relu'))  # 激活函数
model.add(Dense(input_dim=10, units=1))
model.add(Activation('sigmoid'))

2. ValueError: (‘Some keys in session_kwargs are not supported at this time: %s’, dict_keys([‘class_mode’]))
   
   
   修改代码如下

model.compile(loss='binary_crossentropy', optimizer='adam')

只需修改一条，其余不变

呈现完整代码

neural_network.py

# -*- coding: utf-8 -*-
import pandas as pd
import warnings
warnings.filterwarnings('ignore')

inputfile = '../data/5-2 sales_data.xls'
data = pd.read_excel(inputfile, index_col=u'序号')

# 数据是类别标签，将字符串类型转化为数据
# 1表示“好”，“是”，“高”
data[data == u'好'] = 1
data[data == u'是'] = 1
data[data == u'高'] = 1
data[data != 1] = 0
x = data.iloc[:, :3].as_matrix().astype(int)
y = data.iloc[:, 3].as_matrix().astype(int)

from keras.models import Sequential
from keras.layers.core import Dense, Activation

model = Sequential()  # 建立模型
model.add(Dense(input_dim=3, units=10))
model.add(Activation('relu'))  # 激活函数
model.add(Dense(input_dim=10, units=1))
model.add(Activation('sigmoid'))

# 编译模型。由于做的是二分类，因此指定损失函数为binary_crossentropy，以及模式为binary
# 常见的损失函数有mean_squared_error、categorical_crossentropy等
# 求解方法指定有adam，此外还有sgd、rmsprop等
model.compile(loss='binary_crossentropy', optimizer='adam')

# 训练模型，学习1000次
model.fit(x, y, nb_epoch=1000, batch_size=10)
# 分类预测
yp = model.predict_classes(x).reshape(len(y))

# 导入自行编写的混淆矩阵可视化函数
from cm_ploy import *
# 显示混淆矩阵可视化结果
cm_ploy(y, yp).show()

cm_ploy.py

# -*- coding: utf-8 -*-
def cm_plot(y, yp):
    from sklearn.metrics import confusion_matrix  # 导入混淆矩阵函数
    cm = confusion_matrix(y, yp)  # 混淆矩阵
    import matplotlib.pyplot as plt  # 导入作图库
    plt.matshow(cm, cmap=plt.cm.Greens)  # 画混淆矩阵图，配色风格使用cm.Greens，更多风格请参考官网。
    plt.colorbar()  # 颜色标签
    for x in range(len(cm)):  # 数据标签
        for y in range(len(cm)):
            plt.annotate(cm[x, y], xy=(x, y), horizontalalignment='center', verticalalignment='center')
    plt.ylabel('True label')  # 坐标轴标签
    plt.xlabel('Predicted label')  # 坐标轴标签
    return plt

运行结果如下图：

通过迭代1000次之后的损失结果