cnn代码实现matlab cnn-lstm代码

摘要

CNN卷积神经网络是图像识别和分类等领域常用的模型方法。由于CNN模型训练效果与实际测试之间存在较大的差距，为提高自由手写数字的识别率，尝试使用TensorFlow搭构CNN-LSTM网络模型，在完成MNIST数据集训练的基础上，基于python的flask框架实现对自由手写数字的识别，并展示线性回归模型、CNN模型及CNN-LSTM模型在手写数字上的识别结果。

CNN-LSTM模型代码实现

CNN-LSTM的tensorflow版本实现：

def cnn_lstm(x):
    # 以正太分布初始化weight
    def weight_variable(shape):
        initial = tf.truncated_normal(shape, stddev=0.1)
        return tf.Variable(initial)
    # 以0.1这个常量来初始化bias
    def bias_variable(shape):
        initial = tf.constant(0.1, shape=shape)
        return tf.Variable(initial)
    def conv2d(x, W):
        return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
    # 池化
    def max_pool_2x2(x):
        return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],strides=[1, 2, 2, 1], padding='SAME')
    with tf.variable_scope('input'):
        x = tf.reshape(x, [-1, 28, 28, 1])
    with tf.variable_scope('conv_pool_1'):
        W_conv1 = weight_variable([5, 5, 1, 32])
        b_conv1 = bias_variable([32])
        h_conv1 = tf.nn.relu(conv2d(x, W_conv1) + b_conv1)
        h_pool1 = max_pool_2x2(h_conv1)
    with tf.variable_scope('conv_pool_2'):
        W_conv2 = weight_variable([5, 5, 32, 64])
        b_conv2 = bias_variable([64])
        h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
        h_pool2 = max_pool_2x2(h_conv2)
    X_in = tf.reshape(h_pool2, [-1, 49, 64])
    X_in = tf.transpose(X_in, [0, 2, 1])
    with tf.variable_scope('lstm'):
        lstm_cell = tf.contrib.rnn.BasicLSTMCell(
            128, forget_bias=1.0, state_is_tuple=True)
        outputs, states = tf.nn.dynamic_rnn(
            lstm_cell, X_in, time_major=False, dtype=tf.float32)
        W_lstm = weight_variable([128, 10])
        b_lstm = bias_variable([10])
        outputs = tf.unstack(tf.transpose(outputs, [1, 0, 2]))
        y = tf.nn.softmax(tf.matmul(outputs[-1], W_lstm) + b_lstm)
    train_vars = tf.trainable_variables()
    return y, train_vars

上面已经定义好了CNN-LSTM整个完整的模型，下面我们将在另一个.py文件下调用他。

from model import cnn_lstm

接着开始调用（下载）MNIST数据集，其中one_hot=True，该参数的功能主要是将图片向量转换成one_hot类型的张量输出。

data = input_data.read_data_sets('MNIST_data', one_hot=True)

在调用CNN-LSTM模型后，需要在训练模型的这个.py文件定义模型，其中x = tf.placeholder为输入变量占位符，在训练前就要指定。

with tf.variable_scope('cnn_lstm'):
    x = tf.placeholder(tf.float32, [None, 784], name='x')
    y, variables = cnn_lstm(x)

接着为了训练模型，需要首先进行添加一个新的占位符用于输入正确值，接着定义交叉熵损失函数、学习速率等。

y_ = tf.placeholder('float', [None, 10])
cross_entropy = tf.reduce_mean(
    tf.nn.softmax_cross_entropy_with_logits(logits=y, labels=y_))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_pred = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))

开始训练模型之前，在Session里面启动模型，其中accuracy.eval（feed_dict={x: batch[0], y_: batch[1]})计算所学习到的模型的正确率。

#saver = tf.train.Saver(variables)
with tf.Session() as sess:
    merged_summary_op = tf.summary.merge_all()
    summary_write = tf.summary.FileWriter('tmp/mnist_log/1', sess.graph)
    summary_write.add_graph(sess.graph)
    sess.run(tf.global_variables_initializer())
    for i in range(20000):
        batch = data.train.next_batch(50)
        if i % 100 == 0:
            train_accuracy = accuracy.eval（feed_dict={x: batch[0], y_: batch[1]})
            print("Step %d, training accuracy %g" % (i, train_accuracy))
        sess.run(train_step, feed_dict={x: batch[0], y_: batch[1]})
    result = []
    for i in range(2000):
        batch = data.test.next_batch(50)
        result.append(sess.run(accuracy, feed_dict={x: batch[0], y_: batch[1]}))
    print(sum(result)/len(result))

训练代码完整如下：

data = input_data.read_data_sets('MNIST_data', one_hot=True)
# 定义模型
with tf.variable_scope('cnn_lstm'):
    x = tf.placeholder(tf.float32, [None, 784], name='x')
    y, variables = cnn_lstm(x)
# 训练
y_ = tf.placeholder('float', [None, 10])
cross_entropy = tf.reduce_mean(
    tf.nn.softmax_cross_entropy_with_logits(logits=y, labels=y_))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_pred = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))
saver = tf.train.Saver(variables)
with tf.Session() as sess:
    merged_summary_op = tf.summary.merge_all()
    summary_write = tf.summary.FileWriter('tmp/mnist_log/1', sess.graph)
    summary_write.add_graph(sess.graph)
    sess.run(tf.global_variables_initializer())
    for i in range(20000):
        batch = data.train.next_batch(50)
        if i % 100 == 0:
            train_accuracy = accuracy.eval（feed_dict={x: batch[0], y_: batch[1]})
            print("Step %d, training accuracy %g" % (i, train_accuracy))
        sess.run(train_step, feed_dict={x: batch[0], y_: batch[1]})
    result = []
    for i in range(2000):
        batch = data.test.next_batch(50)
        result.append(sess.run(accuracy, feed_dict={x: batch[0], y_: batch[1]}))
    print(sum(result)/len(result))

训练结束后，将CNN-LSTM模型的训练参数进行保存，其实现代码如下：

path = saver.save(sess,os.path.join(os.path.dirname(__file__), 'data', 'cnn_lstm.ckpt'),  write_meta_graph=False,write_state=False )

手写数字应用实现

在信息化飞速发展的时代，光学字符识别是一个重要的信息录入与信息转化的手段。其中，手写体数字的识别有着非常广泛的应用(如:邮政编码,统计报表,财务报表,银行票据等等)。因此,手写数字的识别研究有着重大的现实意义，一旦研究成功并投入应用，将产生巨大的社会和经济效益。本部分在训练完十个阿拉伯数字的模型参数后，将手写数字识别的TF模型部署到Web中，前端负责获取用户在页面上手写数字图像并预处理，再向服务器发出AJAX请求，请求内容为待识别的图像。服务器端程序生成TF会话并加载训练好的模型，调用相应的视图函数将请求数据送入TF会话中计算，最后将识别结果异步回传到前端。其实现界面如下：

左边的绘制画布是一个用canvas标签实现的320×320像素的画布。使用canvas对象的getContext()方法可得到一个绘图环境，该环境提供了在画布上绘图的方法和属性。绘制画布绑定鼠标事件的监听器，当用户按下并拖动鼠标时，可将鼠标移动的路径(经过的像素点)呈现到绘制画布上，这样用户可在绘制画布上使用鼠标书写数字。手写数字图像存储为uint8类型的像素矩阵，每一个位置的像素点包括R、G、B、A四个通道值。输入处理框为输入图像为尺寸为320×320像素原始手写数字图像应在前端完成尺寸调整和灰度化等预处理，再发送给服务器，以便减少向服务器传输的图像数据量。右边模型输出结果为三个模型预测输出的结果。

其实现输出的结果如下：

结论

节省人力,物力,财力,以提高数字信息的处理效率，应用新型计算机技术进行自动识别数字成为了一个热门研究方向。本文针对基于TensorFlow深度学习框架完成手写体数字的识别方法的研究与实现，首先建立了基于TensorFlow深度学习框架的CNN-LSTM模型结构,针对手写体数据集MNIST的训练数据集进行训练之后，基于flask框架实现了一款手写数字识别Web应用程序，为TF模型在Web中部署和开发应用提供参考。