目前学到的感知机是单层感知机，单层感知机仅仅包含两层单元神经，即输入神经元和输出神经元，可以非常容易地实现线性情景，但是很难处理线性不可分的情形，其学习过程会出现一定的震荡，权重系数
难以稳定。
对于线性不可分的情况，在感知机上一般有两个处理方向，一个是SVM，一个是神经网络模型（也叫做多层感知机，MLP），他与单层感知机的区别在于多了隐藏层，这使得神经网络能够处理非线性问题。
非线性代码实现
先尝试基于Numpy搭建一个两层的神经网络，基于numpy实现神经网络的思路为定义网络结构，初始化模型参数，定义前向传播网络，计算损失，执行反向传播，更新权重，将全部模块整合成一个完整的神经网络。
1 定义网络结构
这与具体的输入输出维度有关
###定义网络结构，X“是训练输入，Y是训练输出
def layer_size(X,Y):
#输入层大小
n_x = X.shape[0]
#隐藏层大小，手动指定，比输入维度大
n_h = 4
#输出层大小
n_y = Y.shape[0]
return (n_x,n_h,n_y)2 初始化模型参数
有了网络结构后，就需要初始化模型参数。
为输入层到隐藏层的权重数组，
为隐藏层到输出层的权重数组，
为输入层到隐藏层的偏置数组，
为隐藏层到输出层的偏置数组
###初始化模型参数
def initialize_parameters(n_x,n_h,n_y):
'''
:param n_x: 输入层神经元个数
:param n_h: 隐藏层神经元个数
:param n_y: 输出层神经元个数
:return: 初始化后的模型参数
'''
#权重系数随机初始化
W1 = np.random.randn(n_h.n_x)*0.01
#偏置参数以0为初始值
b1 = np.zeros((n_h,1))
W2 = np.random.randn(n_y.n_h)*0.01
b2 = np.zeros((n_y, 1))
#封装为字典
parameters = {"W1":W1,
"b1":b1,
"W2":W2,
"b2":b2}
return parameters3 定义前向传播过程
以tanh为隐藏层激活函数，以sigmoid函数为输出层函数
###定义向前传播函数
def forward_propagation(X,parameters):
'''
输入：
:param X:训练输入
:param parameters:初始化的模型参数
:return:
A2：模型输出
cache：向前传播过程计算的中间值缓存
'''
#获取各个参数的初始值
W1 = parameters['W1']
W2 = parameters['W2']
b1 = parameters['b1']
b2 = parameters['b2']
#执行向前计算
Z1 = np.dot(W1,X) + b1
A1 = np.tanh(Z1)
Z2 = np.dot(W2,A1) + b2
A2 = sigmoid(Z2)
#将中间结果封装为字典
cache = {"Z1":Z1,
"A1":A1,
"Z2":Z2,
"A2":A2}
return A2,cache4 计算当前损失
基于交叉熵的损失函数
###定义损失函数
def compute_cost(A2,Y):
'''
输入：
:param A2:向前计算输出
:param Y: 训练标签
:return: cost: 当前损失
'''
#训练样本量
m = Y.shape[1]
#计算交叉熵损失（公式可百度，懒得打）
logprobs = np.multiply(np.log(A2),Y) + np.multiply(np.log(1-A2),1-Y)
cost = -1/m * np.sum(logprobs)
#维度压缩
cost = np.squeeze(cost)
return cost5 执行反向传播
前向传播和损失函数计算完成后，最关键的部分就是反向传播
###反向传播
def backward_propagation(parameters,cache,X,Y):
'''
输入
:param parameters: 神经网络参数字典
:param cache: 前向计算中的缓存字典
:param X: 训练输入
:param Y: 训练输出
:return:
grads:梯度权重字典
'''
#样本量
m = X.shape[1]
# 获取W1和W2
W1 = parameters['W1']
W2 = parameters['W2']
# 获取A1和A2
A1 = cache['A1']
A2 = cache['A2']
# 执行反向传播
dZ2 = A2-Y
dW2 = 1/m * np.dot(dZ2, A1.T)
db2 = 1/m * np.sum(dZ2, axis=1, keepdims=True)
dZ1 = np.dot(W2.T, dZ2)*(1-np.power(A1, 2))
dW1 = 1/m * np.dot(dZ1, X.T)
db1 = 1/m * np.sum(dZ1, axis=1, keepdims=True)
#将权重梯度封装为字典
grads = {"dW1": dW1,
"db1": db1,
"dW2": dW2,
"db2": db2}
return grads6 更新权重
不断用梯度下降法，一步一步达到最优值
def update_parameters(parameters, grads, learning_rate=1.2):
'''
输入：
:param parameters: 神经网络参数字典
:param grads: 梯度权重字典
:param learning_rate: 学习率
:return: parameters:更新后的权重字典
'''
# 获取参数
W1 = parameters['W1']
b1 = parameters['b1']
W2 = parameters['W2']
b2 = parameters['b2']
# 获取梯度
dW1 = grads['dW1']
db1 = grads['db1']
dW2 = grads['dW2']
db2 = grads['db2']
# 参数更新
W1 -= dW1 * learning_rate
b1 -= db1 * learning_rate
W2 -= dW2 * learning_rate
b2 -= db2 * learning_rate
parameters = {"W1": W1,
"b1": b1,
"W2": W2,
"b2": b2}
return parameters7 模块整合
将上述六个模块进行封装
def nn_model(X, Y, n_h, num_iterations=10000, print_cost=False):
'''
输入：
:param X:训练输入
:param Y: 训练输出
:param n_h: 隐藏层结点数
:param num_iterations:迭代次数
:param print_cost: 打印损失
:return: parameters：优化后的权重系数
'''
#设置随机数种子
np.random.seed(3)
#输入和输出结点数
n_x = layer_sizes(X, Y)[0]
n_y = layer_sizes(X, Y)[2]
# 初始化模型参数
parameters = initialize_parameters(n_x, n_h, n_y)
W1 = parameters['W1']
b1 = parameters['b1']
W2 = parameters['W2']
b2 = parameters['b2']
# 梯度下降和参数更新循环
for i in range(0, num_iterations):
# 前向传播计算
A2, cache = forward_propagation(X, parameters)
# 计算当前损失
cost = compute_cost(A2, Y, parameters)
# 反向传播
grads = backward_propagation(parameters, cache, X, Y)
# 参数更新
parameters = update_parameters(parameters, grads, learning_rate=1.2)
# 打印损失
if print_cost and i % 1000 == 0:
print("Cost after iteration %i: %f" % (i, cost))
return parameters本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
