对门控神经网络改进 门控递归神经网络

论文：Li, Yujia, etal. Gated Graph Sequence Neural Networks[J]. Computer Science, 2015.

Contribution

• Our main contribution is an extension of Graph Neural Networks that outputs sequences.(扩展了输出序列的图神经网络)
  以前关于图形结构输入的特征学习的工作主要集中再产生单一输出的模型上，例如图级分类，但是许多图形输入的问题需要输出序列。包括图上的路径、具有所需属性的图节点的枚举，或与例如开始和结束节点混合的全局分类序列。
• A secondary contribution is highlighting that Graph Nerual Networks (and further extensions we develop here) are a broadly useful class of neural network model that is applicable to many problems currently facing the filed.
  第二个贡献是强调图神经网络（以及我们在这里开发的进一步扩展）是一类广泛有用的神经网络模型，适用于当前该领域面临的许多问题。

门控图序列神经网络——Gated graph neural neworks

GNN的最大改进是，我们使用门控递归单元，并展开固定数量的步长T的递归，并使用时间反向传播来计算梯度。这需要比Almeida-Pineda算法更多的内存，但它不需要约束参数以确保收敛。

• Node Annotations
  GG-NNs允许我们将节点标签合并为其他输入。为了区分这些用作输入的节点标签和之前介绍的节点标签，我们将它们称为节点注释，并使用向量X来表示这些注释。
  举例： 考虑一个训练图神经网络的示例任务，以预测是否可以从给定图上的节点s到达节点t。
  对于这个任务，有两个与问题相关的特殊节点s和t。为了将这些节点标记为特殊节点，我们给它们一个初始注释。
  第一个节点s获注释$X_s=[1,0]^T$，第二个节点t获得注释$X_t=[0,1]^T$。所有其他节点v的初始注释设置为$X_v=[0,0]^T$。直观的说，这将s标记为第一个输入参数，t标记为第二个输入参数。然后，我们使用这些标签向量初始化节点状态向量$h^{(1)}_b$，方法是将$X_v$复制到第一个维度，并使用额外的0填充，以允许大于注释大小的隐藏状态。
  说白了，我认为节点注释就像节点中包含信息的初始化过程。有数据的填充数据，没有数据的填充0。
  在可达性示例中，传播模型很容易学习传播节点注释。例如，通过将于前向边相关联的传播矩阵设置为a1，位于位置（0，0），从而使节点表示的第一个维度沿前向边复制。使用此参数设置，传播步骤将使所有从s开始传播的，所到达的第一个节点设置为1。然后，输出步骤分类器可以通过查看某个节点在其表示向量的前两个维度中是否有非零条目来轻松区分节点t是否使从s到达的。
• Propagation Model（传播模型）



• （a）示例图。颜色表示边缘类型。（b）进行一次传播。（c）递归矩阵中的参数系和局部性。字母$B^’$对应于$B$类型的逆边的边类型。$B$和$B^’$表示不同的参数。
  （c）图其实表示了图论中邻接矩阵的构建。其中$B,C,$$B^‘,C^’$是边的特征，是$D \times D$的矩阵。



• 矩阵$A\in R^{D|V|\times 2D|V|}$决定了图中节点之间的通信方式。$A$中的稀疏结构和参数绑定对应于图1所示。稀疏结构对应于图的边缘，每个子矩阵的参数由边缘的类型和方向决定。
  $A_v : \in R^{D|V| \times 2D}$是对应于节点$V$的$A^{out}$和$A^{in}$中的两两列块。
  公式（1）是初始化步骤，他将节点注释复制到隐藏状态的第一个分量中，并用零填充其余部分。
  公式（2）是根据输入类型和方向在参数的图形通入和输出的不同节点之间传递信息的步骤。$a_v^{(t)} \in R^{2D}$包含两个方向上的边缘激活。
  公式（3）（4）（5）（6）即GRU的更新过程。$z_v^t$控制遗忘信息，$r_v^t$控制新产生的信息。公式（6）中的$(1-z_v^t)\odot$选择遗忘哪些过去的信息，$z_v^t\odot$选择记住哪些新产生的信息。公式（5）中的$r_v^t\odot$决定从哪些过去的信息中产生新信息。$h_v^{t}$是新产生的信息。$h_v^{t}$是最终更新的节点状态。
• output Model
  作者希望在不同情况下能够产生集中不同类型的一步输出：
  首先，GG-NNs通过对每个节点$v \in V$输出节点得分（一般的最后分类器也都是通过得分来判断这是哪一类）进行$o_v=g(h_v^{(T)}, x_v)$并对节点得分应用softmax分类器来支持节点选择任务。
  其次，对于图级输出，我们将图级表示向量定义为
  $h_G=tanh(\sum{\sigma (i(h_v^{(T)},x_v))}\odot tanh(j(h_v^{(T)},x_v)))$
  其中$\sigma (i(h_v^{(T)},x_v))$充当软注意机制，决定哪些节点于当前的图形级任务相关。$i$和$j$是以$h_v^{(T)}$和$x_v$d的级联为输入输出实值向量的神经网络。tanh函数也可以用identity替换