MATLAB实现CNN一般会用到deepLearnToolbox-master。但是根据Git上面的说明,现在已经停止更新了,而且有很多功能也不太能够支持,具体的请大家自习看一看Git中的README。
deepLearnToolbox-master是一个深度学习matlab包,里面含有很多机器学习算法,如卷积神经网络CNN,深度信念网络DBN,自动编码AutoEncoder(堆栈SAE,卷积CAE)的作者是 Rasmus Berg Palm (rasmusbergpalm@)
代码下载:外链网址已屏蔽
这里我们介绍deepLearnToolbox-master中的CNN部分。
函数
调用关系为:
该模型使用了mnist的数字mnist_uint8.mat作为训练样本,作为CNN的一个使用样例,每个样本特征为一个28×28=的向量。
网络结构为:
Test_example_CNN
Test_example_CNN:
1设置CNN的基本参数规格,如卷积、降采样层的数量,卷积核的大小、降采样的降幅
2 cnnsetup函数 初始化卷积核、偏置等
3 cnntrain函数 训练cnn,把训练数据分成batch,然后调用
3.1cnnff 完成训练的前向过程
3.2 cnnbp计算并传递神经网络的error,并计算梯度(权重的修改量)
3.3 cnnapplygrads 把计算出来的梯度加到原始模型上去
4 cnntest 函数,测试当前模型的准确率
该模型采用的数据为mnist_uint8.mat,含有70000个手写数字样本其中60000作为训练样本,10000作为测试样本。
把数据转成相应的格式,并归一化。
load mnist_uint8;
train_x = double(reshape(traub.x',28,28,60000))/255;
test_x = double(reshape(test_x',28,28,10000))/255;
train_y = double(train_y');
test_y = double(test_y');
设置网络结构及训练参数
%% ex1 Train a 6c-2s-12c-2s Convolutional neural network
%% will run 1 epoch in about 200 second and get around 11% error
%% with 100 epochs you' will get around 1.2% error
rand('state',0);
cnn.layers = {
struct('type','i') %input layer
struct('type','c','outputmaps',6,'kernelsize',5) % convolution layer
struct('type','s','scale',2) %sub sampling layer
struct('type','c','outputmaps',12,'kernelsize',5) % convolutional layer
struct('type','s','scale',2) % sub sampling layer
%% 训练选项,alpha学习效率(不用),batchsiaze批训练总样本的数量,numepoches迭代次数
opts.alpha = 1;
opts.batchsize = 50;
opts.numepochs = 1;
初始化网络,对数据进行批训练,验证模型准确率。
cnn = cmmsetup(cnn, train_x, train_y);
cnn = cnntrain(cnn, train_x, train_y, opts);
[er, bad] = cnntest(cnn, test_x, test_y);
绘制均方误差曲线
%plot mean squared error
figure; plot(cnn.rL);
Cnnsetup.m
cnntrain.m
cnnff.m
cnnbp.m
cnnapplygrads.m
该函数完成权重修改,更新模型的功能
1更新特征抽取层的权重 weight+bias
2 更新末尾单层感知机的权重 weight+bias
function net = cnnapplygrads(net, opts) %使用梯度
%特征抽取层(卷机降采样)的权重更新
for l = 2 : numel(net.layers) %从第二层开始
if strcmp(net.layers{l}.type, 'c')%对于每个卷积层
for j = 1 : numel(net.layers{l}.a)%枚举该层的每个输出
%枚举所有卷积核net.layers{l}.k{ii}{j}
for ii = 1 : numel(net.layers{l - 1}.a)%枚举上层的每个输出
net.layers{l}.k{ii}{j} = net.layers{l}.k{ii}{j} - opts.alpha * met.layers{l}.dk{ii}{j};
end
%修正bias
net.layers{l}.b{j} = net.layers{l}.b{j} - opts.alpha * net.layers{l}.db{j};
end
end
end
%单层感知机的权重更新
net.ffW = net.ffW - opts.alpha * net.dffW;
net.ffb = net.ffb - opts.alpha * net.dffb;
end
cnntest.m
验证测试样本的准确率
%验证测试样本的准确率
function [er, bad] = cnntest(net, x, y)
% feedforward
net = cnnff(net, x);
[~, h] = max(net.o);
[~, a] = max(y);
%find(x) FIND indices of nonzero elements
bad = find(h ~= a); %计算预测错误的样本数量
er = numel(bad) / size(y, 2); % 计算错误率
end