目录
构建一个简单的模型
序贯（Sequential）模型
网络层的构造
模型训练和参数评价
模型训练
模型的训练
tf.data的数据集
模型评估和预测
基本模型的建立
网络层模型
模型子类函数构建
回调函数Callbacks
模型保存和载入
网络参数保存Weights only
配置参数保存Configuration only
完整模型保存
目前keras API 已经整合到 tensorflow最新版本1.9.0 中，在tensorflow中通过tf.keras就可以调用keras。
import tensorflow as tf
from tensorflow import keras
官方教程为：https://tensorflow.google.cn/guide/keras
tf.keras可以调用所有的keras编译代码，但是有两个限制：
- 版本问题，需要通过tf.keras.version确认版本。
- 模型保存问题，tf.keras默认使用 checkpoint format格式，而keras模型的保存格式HDF5需要借用函数save_format='h5'
构建一个简单的模型
序贯（Sequential）模型
序贯模型就是是多个网络层的线性堆叠，比如多层感知机，BP神经网络。
tf.keras构建一个简单的全连通网络(即多层感知器)代码如下:
#建立序贯模型
model = keras.Sequential()
#添加全连接层，节点数为64，激活函数为relu函数，dense表示标准的一维全连接层
model.add(keras.layers.Dense(64, activation='relu'))
#添加全连接层，节点数为64，激活函数为relu函数
model.add(keras.layers.Dense(64, activation='relu'))
#添加输出层，输出节点数为10
model.add(keras.layers.Dense(10, activation='softmax'))
其中激活函数详细信息见keras官方文档http://keras-cn.readthedocs.io/en/latest/other/activations/
网络层的构造
通常在tf.keras中，网络层的构造参数主要有以下几个：
- 激活函数activation function，默认是没有激活函数的。
- 参数初始化，默认通过正态分布初始化（Glorot uniform）
- 参数正则化，包括权值初始化和偏置的初始化。
#参数调整
#建立一个sigmoid层
layers.Dense(64, activation='sigmoid')
#或者
layers.Dense(64, activation=tf.sigmoid)
#权重L1正则化
layers.Dense(64, kernel_regularizer=keras.regularizers.l1(0.01))
#偏置L2正则化
layers.Dense(64, bias_regularizer=keras.regularizers.l2(0.01))
#权重正交矩阵的随机数初始化
layers.Dense(64, kernel_initializer='orthogonal')
#偏置常数初始化
layers.Dense(64, bias_initializer=keras.initializers.constant(2.0))
模型训练和参数评价
模型训练
模型建立后，通过compile模块确定模型的训练参数（tf.keras.Model.compile）
tf.keras.Model.compile有三个主要参数：
- 优化器optimizer：通过tf.train模块调用优化器，可用的优化器类型见：http://keras-cn.readthedocs.io/en/latest/other/optimizers/
- 损失函数loss：通过tf.keras.losses模块调用损失函数，可用的损失函数类型见：http://keras-cn.readthedocs.io/en/latest/other/objectives/
- 模型评估方法metrics：通过tf.keras.metrics调用评估参数，可用的模型评估方法见：http://keras-cn.readthedocs.io/en/latest/other/metrics/
具体例子如下：
# 配置均方误差回归模型
model.compile(optimizer=tf.train.AdamOptimizer(0.01),
loss='mse', # 均方差
metrics=['mae']) # 平均绝对误差
# 配置分类模型
model.compile(optimizer=tf.train.RMSPropOptimizer(0.01),
loss=keras.losses.categorical_crossentropy, #多类的对数损失
metrics=[keras.metrics.categorical_accuracy]) #多分类问题，所有预测值上的平均正确率
模型的训练
对于小数据集,使用numpy数组，通过tf.keras.Model.fit模块来训练和评估模型。
import numpy as np
#输入数据（1000，32）
data = np.random.random((1000, 32))
#输入标签（1000，10）
labels = np.random.random((1000, 10))
#模型训练
model.fit(data, labels, epochs=10, batch_size=32)
tf.keras.Model.fit模块有三个重要的参数：
- 训练轮数epochs：epochs指的就是训练过程中数据将被训练多少轮，一个epoch指的是当一个完整的数据集通过了神经网络一次并且返回了一次。
- 批训练大小batch_size：基本上现在的梯度下降都是基于mini-batch的，即将一个完整数据分为batch_size个批次进行训练。详见http://keras-cn.readthedocs.io/en/latest/for_beginners/concepts/#epochs。
- 验证集validation_data：通常一个模型训练，评估要有训练集，验证集和测试集。验证集就是模型调参时用来评估模型的数据集。
tf.data的数据集
对于大型数据集，常常通过tf.data模块来调用数据,详见https://tensorflow.google.cn/guide/datasets
# 数据实例化
dataset = tf.data.Dataset.from_tensor_slices((data, labels))
dataset = dataset.batch(32)
dataset = dataset.repeat()
#模型训练，steps_per_epoch表示每次训练的数据大小类似与batch_size
model.fit(dataset, epochs=10, steps_per_epoch=30)
模型评估和预测
通过 tf.keras.Model.evaluate 和tf.keras.Model.predict可以实现模型的评估和预测。
model.evaluate(x, y, batch_size=32)
model.evaluate(dataset, steps=30)
model.predict(x, batch_size=32)
model.predict(dataset, steps=30)
基本模型的建立
网络层模型
通过f.keras.Sequential 可以实现各种的复杂模型，如：
- 多输入模型；
- 多输出模型；
- 参数共享层模型；
- 残差网络模型。
具体例子如下：
#输入参数
inputs = keras.Input(shape=(32,))
#网络层的构建
x = keras.layers.Dense(64, activation='relu')(inputs)
x = keras.layers.Dense(64, activation='relu')(x)
#预测
predictions = keras.layers.Dense(10, activation='softmax')(x)
#模型实例化
model = keras.Model(inputs=inputs, outputs=predictions)
#模型构建
model.compile(optimizer=tf.train.RMSPropOptimizer(0.001),
loss='categorical_crossentropy',
metrics=['accuracy'])
#模型训练
model.fit(data, labels, batch_size=32, epochs=5)
模型子类函数构建
通常通过tf.keras.Model构建模型结构， __init__方法初始化模型，call方法进行参数传递。如下所示：
class MyModel(keras.Model):
#模型结构确定
def __init__(self, num_classes=10):
super(MyModel, self).__init__(name='my_model')
self.num_classes = num_classes
#网络层的定义
self.dense_1 = keras.layers.Dense(32, activation='relu')
self.dense_2 = keras.layers.Dense(num_classes, activation='sigmoid')
#参数调用
def call(self, inputs):
#前向传播过程确定
x = self.dense_1(inputs)
return self.dense_2(x)
def compute_output_shape(self, input_shape):
#输出参数确定
shape = tf.TensorShape(input_shape).as_list()
shape[-1] = self.num_classes
return tf.TensorShape(shape)
#模型初始化
model = MyModel(num_classes=10)
#模型构建
model.compile(optimizer=tf.train.RMSPropOptimizer(0.001),
loss='categorical_crossentropy',
metrics=['accuracy'])
#模型训练
model.fit(data, labels, batch_size=32, epochs=5)
回调函数Callbacks
回调函数是一组在训练的特定阶段被调用的函数集，你可以使用回调函数来观察训练过程中网络内部的状态和统计信息。通过传递回调函数列表到模型fit()中，即可在给定的训练阶段调用该函数集中的函数。详见：http://keras-cn.readthedocs.io/en/latest/other/callbacks/。主要回调函数有：
- tf.keras.callbacks.ModelCheckpoint：模型保存
- tf.keras.callbacks.LearningRateScheduler：学习率调整
- tf.keras.callbacks.EarlyStopping：中断训练
- tf.keras.callbacks.TensorBoard：tensorboard的使用
模型保存和载入
tf.keras有两种模型保存方式
网络参数保存Weights only
#模型保存为tensorflow默认格式
model.save_weights('./my_model')
#载入模型
model.load_weights('my_model')
#模型保存为keras默认格式,包含其他优化参数
model.save_weights('my_model.h5', save_format='h5')
#载入模型
model.load_weights('my_model.h5')
配置参数保存Configuration only
保存一个没有模型参数只有配置参数的模型， Keras支持 JSON和YAML序列化格式:
# 模型保存
json_string = model.to_json()
yaml_string = model.to_yaml()
#模型载入
fresh_model = keras.models.from_json(json_string)
fresh_model = keras.models.from_yaml(yaml_string)
完整模型保存
将原来模型所用信息进行保存：
#模型建立
model = keras.Sequential([
keras.layers.Dense(10, activation='softmax', input_shape=(32,)),
keras.layers.Dense(10, activation='softmax')
])
model.compile(optimizer='rmsprop',
loss='categorical_crossentropy',
metrics=['accuracy'])
model.fit(data, targets, batch_size=32, epochs=5)
#保存为keras格式文件
model.save('my_model.h5')
# 模型载入
model = keras.models.load_model('my_model.h5')
