TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_子结构


TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_伪代码_02

神经网络结构搜索算法之一

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_子结构_03


网络结构

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_搜索算法_04


TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_搜索算法_05


降低神经网络结构参数

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_tensorflow_06


TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_子结构_07


TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_笔记_08


如下图，彩色框框为生成单个神经的参数，使用循环神经网络去生成卷积神经网络

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_笔记_09


左边RNN可以生成LSTM的序列表达，然后把序列解析成网络表达结构，得到网络结构的表达，然后计算得到accuracy，然后反馈给RNN，然后再重新生成LSTM的序列表达。

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_tensorflow_10


TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_笔记_11


TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_伪代码_12


ex：单层网络结构参数

卷积的高、宽、步长的高和宽，最后一个是channel的个数（概率）,每一个的loss分别是反馈R与概率相乘

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_tensorflow_13


TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_tensorflow_14


对于上述的这个模型，是一个无监督的学习模型，所以需要每个生成的模型都需要训练，耗时，故采用分布式训练，tensorflow Serving

下图神经网络搜索中的一个框架，有多个参数存储server点(不同参数可以通过哈希算法储存),工作结点再分下一层，下一层再并行计算

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_笔记_15


下图为上图的分布式训练流程

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_tensorflow_16


TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_伪代码_17

tensorflow Serving核心思想：参数定义在服务器上面，模型训练放在工作节点上，中间传播相应的梯度，左边为伪代码。

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_搜索算法_18


同步和异步传播

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_搜索算法_19


第一种算法的缺点：

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_搜索算法_20

神经网络结构搜索算法之二

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_tensorflow_21


单层的复杂结构：下左图的InceptionNet的子结构，下右图的ResNet的子结构，分子使他们的公共点

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_子结构_22


第二种算法实现复制的单层结构

如下图，依然是使用循环神经网络来生成卷积（使用单层的循环神经），右边中的循环神经循环B次之后就有可能到达复制的单层结构，右边简化后就是左边的图。再下一次循环的时候，就可以从A，B和new中选择两个。

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_笔记_23


上述的伪代码：

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_子结构_24


上述的操作集合如下：

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_伪代码_25


合并操作只有两种。

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_笔记_26


在合并之前需要下面的先验知识

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_搜索算法_27


Normal Cell结构

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_搜索算法_28


Reduction Cell

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_搜索算法_29


现有的网络结构

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_子结构_30


第二种算法的缺点：

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_搜索算法_31

神经网络结构搜索算法之三

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_笔记_32


TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_笔记_33


TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_笔记_34


TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_搜索算法_35


TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_tensorflow_36


TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_子结构_37


TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_笔记_38


横向对比

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_笔记_39


总结

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_伪代码_40

课程总结

课程目录

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_子结构_41


TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_笔记_42


TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_tensorflow_43


提升：

TensorFlow实现一个带有attention机制的MLP网络 automl tensorflow_笔记_44