• 第4章 TensorFlow基础知识

设备层和网络层gRPC(google Remote Procedure Call Protocol)，RDMA(Remote Direct Memory Access)

数据操作层：卷积函数，激活函数。

图计算层

API层

应用层

 

命令式编程Imperative Style Programming，即通常意义上的程序。t=8+9; print(t)

符号式编程Symbolic Style Programming。

先定义变量，建立数据流图，规定各个变量之间的计算关系，进行编译。t=tensorflow.add(8,9); print(t)

涉及的运算放在图中，图的运行只在Session中。开启会话后，用数据填充节点进行运算。

 

Input/Reshape/Relu Layer/Logit Layer/Softmax/Cross Entropy/gradient/SGD Trainer

数据流图，节点、边组成的有向无环图Directed Acycline Graph。

 

  • 边Edge

两种连接关系：

数据依赖，实线，代表数据（张量）。Forward Propagation，残差Backward Propagation。

控制依赖Control Denpendency，虚线，Happens-before。没有数据流过，源节点必须先于目的节点执行前，完成执行。

 

  • 节点

算子，代表一个操作。

输入起点、输出终点。

读取、写入持久变量（Persistent variable）终点。

  • 其他

图，

会话，feed/fetch, extend添加边和接单，run

设备，比如指定在哪个GPU上运行。

变量，在图中有固定位置，不能流动。

内核，

 

常用API

tf.Graph

tf.Operation

tf.Tensor

tf.Summary

 

name_scope

variable_scope

 

Batch Normalization

网络深度加深，会导致梯度消失Vanishing Gradient Problem。

Internal Covariate Shift，Source Domain/Target Domain的数据分布是一致的。

Generalization

用在激活函数之前。加大了梯度。收敛速度慢或梯度爆炸等无法训练的情况下。

 

激活函数、卷积函数，池化函数，损失函数，优化器。

  • 激活函数

激活函数：运行时激活神经网络中某一部分神经元，将激活信息传入下一层的神经网络。神经网络能够解决非线性问题，就是激活函数加入了非线性因素。

神经网络的数据基础是处处可微。

激活函数不会更改输入数据的维度。tf.nnsigmoid()：最常用。

sigmoid()：最常用之一。有点是(0, 1)，缺点是软饱和性。输入特征相差不明显时较好。

a = tf.constant([[1.0, 2.0], [1.0, 2.0], [1.0, 2.0]])

sess = tf.Session();

sess.run(tf.sigmoid(a))

（我这里加print 会出错）

tanh()：最常用之二。以0为中心，收敛速度快。软饱和性。输出特征相差明显时较好。

relu()：最收欢迎的。有时输入数据可以不用规范化。

softplus()：relu的平滑版本。硬饱和，导致对应的权重无法更新，神经元死亡。

relu6()

crelu()

elu()

bias_add()

softsign()

dropout()：一个神经元以keep_prob概率是否被抑制。被抑制输出为0，否则输出放大到1/keep_prob。

默认神经元是独立的，也可以通过noise_shape调节。

 

  • 卷积函数

在一批图像上扫码的二位过滤器。tf.nn

convolution()：N维卷积和。

con2d()：对四维输入数据input和四维卷积核filter进行操作，然后进行二维的卷积操作，最后得到卷积之后的结果。

depthwise_conv2d()：多个通道？

separable_conv2d()：分离卷积核做卷积。

atrous_conv2d()：孔卷积。

conv2d_transpose()：conv2d的转置。

conv1d()：3维输入的一维卷积。

conv3d()：5维输入的三维卷积。

 

  • 池化函数

一般用在卷积函数的下一层。

利用一个矩阵窗口在张量上扫描，将窗口中的值取最大值或平均值来减少元素个数。

avg_pool()：

max_pool()：

max_pool_with_argmax()：最大值及所在位置。

avg_pool3d()/max_pool3d()

fractional_avg_pool()fractional_max_pool()。池化后的图片大小可以非整数倍的缩小。

pool()：执行N维的池化操作。

 

  • 分类函数

sigmoid_cross_entropy_with_logits()

softmax()

log_softmax()

softmax_cross_entropy_with_logits()

sparse_softmax_cross_entropy_with_logits()

 

  • 优化方法

加速训练的优化方法都是基于梯度下降的。梯度下降是求函数极值的方法，学习到最后就是求损失函数的极值问题。

BGD：Batch Gradient Descent。优点：保证收敛；缺点：速度越来越慢。

SGD：Stochastic Gradient Descent。随机梯度下降。优点：训练数据集很大时，较快收敛；缺点：误差，局部最优，被困。

Momentum：引入了变量V。初期加速学习；后期加快收敛。

Nesterov Momentum：

Adagrad：自适应为各个参数分配不同的学习率。优点：学习率的自动更改。缺点：学习率单调递减。

Adadelta：

RMSProp：引入了一个衰减系数。

Adam：Adaptive moment estimation。

 

  • 模型的存储与加载

生成检查点文件（Checkpoint file）。tf.train.Saver()。包含权重、变量，不包含图结构。

生成图协议文件（Graph proto file）。tf.train.write_graph。只包含图结构。

 

  • 队列和线程

FIFOQueue

RandomShuffleQueue

QueueRunner

Coordinator

 

  • 加载数据

预加载数据

填充数据

从文件读取数据