图神经网络回归任务 图神经网络做预测

近年来，图神经网络作为图表征学习的一类代表性方法发展迅速，并被广泛应用于社交网络、知识图谱、生物网络、分子结构等图数据中。在图机器学习中，一类重要的问题是链接预测问题。本文以图的同构性为切入点，介绍近年来使用图神经网络进行链接预测的方法。

背景介绍

图同构

我们首先介绍图的同构问题。给定两个图 $G=(V_G,E_G),H=(V_H,E_H)$，如果存在一个映射 $\pi:V_G\rightarrow V_H$，使得：
$(s,t)\in E_G \iff (\pi(s),\pi(t))\in E_H,$
那么 $G,H$ 就是同构的，记作 $G\simeq H$，且称 $\pi$ 是图 $G$ 和 $H$

1. 节点同构：令 $v\in V_G,w\in V_H$。如果存在从 $G$ 到 $H$ 的一个同构 $\pi$，且 $\pi(v)=w$，那么节点 $v$ 和 $w$ 是同构的。记作 $(v,G)\simeq (w,H)$。
2. 节点组同构：令 ${v}=(v_1,v_2,...v_k)\in V_G^k,{w}=(w_1,w_2,...,w_k)\in V_H^k$ 分别为 $k$ 个节点组成的有序节点组。如果存在从 $G$ 到 $H$ 的一个同构 $\pi$，且 $\pi(v_1)=w_1,\pi(v_2)=w_2,...,\pi(v_k)=w_k$，那么节点组 ${v}$ 和 ${w}$ 是同构的。记作 $({v},G)\simeq ({w},H)$。

消息传递神经网络

图神经网络的一个标准范式就是消息传递神经网络 (MPNN)。它的基本思想是：针对图中的每个节点 $i$，赋予一个变量表示 ${z}_i^{(0)}$。而后，重复下面的迭代过程：在第 $t+1$ 次迭代过程中，更新节点的变量表示
${z}_i^{(t+1)}=\phi\left({z}_i^{(t)},\oplus_{j\in N(i)}\psi\left({z}_i^{(t)},{z}_j^{(t)}\right)\right).$
其中，$\psi,\phi$ 是含有可训练参数的函数，$\oplus$ 是满足置换不变性的函数（如 $\sum,\max$），$N(i)$ 指节点 $i$

图卷积网络（GCN）就是一个典型的消息传递神经网络。它的每一步更新可以表示为：
${z}_i^{(t+1)}=\sum_{j\in N(i)\cup \{i\}} \frac{1}{\sqrt{deg(i)deg(j)}}{Wz}_j^{(t)},$
其中，$deg(\cdot)$ 表示节点的度数，${W}$

消息传递的表达能力上限

为了研究和提高图神经网络的性能，我们需要研究它的表达能力，来更好的理解哪些图的结构可以被它识别，而哪些结构则无法被区分。基于消息传递的方法的表达能力的上限可以很好地利用一个经典的图同构算法，即 Weisfeiler-Lehman(WL) 算法，来进行描述。该算法的流程如下：

1. $c^0_v\leftarrow \mathrm{hash}({x}_v), \forall v\in V$
2. 重复下面步骤直至收敛:
3. $\quad c_v^{t+1}\leftarrow \mathrm{hash}(c_v^t,\{\{c_w^t~|~w\in N(v)\}\}), \forall v\in V$
4. 返回 $\{\{c_v^t~|~v\in V\}\}$

该算法中，我们首先对所有节点都赋予一个“颜色” $c^0_v$ （如果节点有输入的特征 ${x}_v$，那么根据不同的特征赋予不同的颜色）。而后，我们根据每个节点的邻居节点的颜色，去更新该节点在下一次迭代时的颜色。这里的哈希函数 $\mathrm{hash}$

我们以下面的这两个图为例。

图1和图2的颜色表示在 WL 测试结束后的颜色分配，而初始时我们把所有节点都分配成一样的颜色，即 $c_v^0=1,\forall v\in V$：

第一轮迭代中，我们首先将所有节点的邻居节点聚合起来，如下图所示。每个节点的标签此时有两个部分，分别是：它原来的标签，和它邻居节点的标签组成的多重集合。

下一步，我们需要“压缩”每个节点的标签来得到统一的表示：

将此步骤不断重复，直到最后我们可以得到如下的颜色分配：

在此状态后，无论我们如何重复WL算法的迭代过程，图中所有不同颜色节点构成的划分不会再改变，因此到达了收敛阶段，算法完成。

WL 测试虽然能够判定大多数情况下的图同构问题，但仍有相当多一部分例外，两个图并非同构，但 WL 测试却分配给它们相同的颜色。这些例外对于链接预测的问题来说十分重要。下图中的 $G,H$

为了扩展 WL 测试的区分能力，学者们提出了更高维度的 WL 测试。这里，我们介绍 k-Folklore WL (k-FWL)算法。该算法对每个k节点组 ${v}=(v_1,v_2,...,v_k)$

1. $c^0_{{v}}\leftarrow \mathrm{hash}({x_v}), \forall {v}\in V^k$
2. 重复下面步骤直至收敛:
3. $\quad c_{{v}}^{t+1}\leftarrow \mathrm{hash}(c_{{v}}^t,\{\{c_{{w}}^t~|~{w}\in N({v})\}\}), \forall {v}\in V^k$
4. 返回 $\{\{c_{{v}}^t~|~{v}\in V^k\}\}$

其中，一个节点组 ${v=(v_1,v_2,...,v_k)}$ 的邻居 $N({v})$ 定义如下：每个 ${v}$ 有 $N$ 个邻居（$N$ 为图中节点的个数），且第 $i$ 个邻居是由k个节点组构成的序列：
$((i,v_2,v_3,...,v_k),(v_1,i,...,v_k),...,(v_1,v_2,...,i)).$
可以证明，对任意的 $k\geq 2$, $k+1$-FWL 的区分能力严格大于 $k$-FWL，且严格大于 WL。

介绍完上面的研究背景后，我们接下来介绍使用图神经网络进行链接预测的方法，并逐一分析它们的表达能力、时间复杂度等。

图自编码器

如何使用图神经网络进行链接预测？既然 GNN 为图中的每个节点学习一个向量表示，而一个链接 $(s,t)$ 由两个节点 $s,t$ 组成，那么最直接的办法就是聚合 $s,t$ 的节点表示来得到链接 $(s,t)$ 的表示：
$p(s,t)=f({z}_s,{z}_t).$
其中，${z}_s,{z}_t$ 分别是 $s,t$ 对应的向量表示，$f$ 是一个函数。一个例子是 VGAE[2]，它的形式为：
$p(s,t)=\sigma ({z}_s \odot {z}_t).$

如上所述，图自编码器的想法和实现都十分简单，但它是否能够完全解决链接预测的问题？答案是否定的。以下图为例，假设我们需要分别预测链接 $(v_1,v_2)$ 以及 $(v_1,v_3)$ 是否存在。容易发现，在下图中，节点 $v_1,v_4$ 是互相对称的；节点 $v_2,v_3$ 是互相对称的。因此，在使用 GNN 得到的节点表示中，$v_1$ 的节点表示一定与 $v_4$ 相同；$v_2$ 的节点表示则一定与 $v_3$ 相同。从而，通过自编码器得到的链接 $(v_1,v_2)$ 以及 $(v_1,v_3)$ 的预测结果也一定相同。这显然是不正确的，因为在该图中节点 $v_1$ 与节点 $v_2,v_3$

Labeling trick

那么，如何才能区分这样不同的链接？首先，我们回顾一下，MPNN 为每个节点学习一个向量表示，从而擅长于区分图同构和节点同构。那么，我们是否可以将链接预测这一任务中的链接同构问题转化为图同构或者节点同构问题？Labeling trick给出了将链接同构转化为图同构的方法。

如上图，在原图 $G$ 中预测目标链接$(v_1,v_2)$时，我们对所有节点增加额外的标签，将 $v_1,v_2$ 标记得与其他节点不同，从而得到左图 $G_1$。同样的，在预测目标链接$(v_1,v_3)$时，我们将 $v_1,v_3$ 标记得与其他节点不同，得到右图 $G_2$。这样，我们将 $(v_1,v_2)$ 与 $(v_1,v_3)$ 的同构问题转化为了两个图的同构问题。事实上，我们有如下结论：
$((v_1,v_2),G)\simeq ((v_1,v_3),H) \iff G_1\simeq G_2.$
从而，链接同构的问题被严格转换成了 $G_1$ 和 $G_2$ 的同构问题。使用 MPNN 学习诱导出的图 $G_1,G_2$

上图分别为 Rook’s 4x4 和 Shrikhande 图。假设目标链接为蓝色节点对。2-FWL测试无法区分两个链接，而使用上述的 labeing trick 后，1-WL 测试即可区分两个链接。

缺点

当然，labeling trick 也有一些缺点。最大的缺点在于，它的时间复杂度相当高：每计算一个目标链接，它就需要重新标注一遍图，再在诱导出的图上重新运行一遍 GNN 模型。因此，所有基于 labeling trick 的方法都需要首先抽取出目标链接附近节点构成的子图，再在子图上进行训练和预测。总的来说，labeling trick 方法进行链接预测的一般工作流程为：

1. 在目标链接 $(i,j)$ 的附近抽取子图 $G_{ij}$；
2. 在 $G_{ij}$
3. 在 $G_{ij}$
4. 得到最终的链接表示。

算法复杂度

给定一个图 $G=(V,E)$，假设使用的 GNN 模型是 GCN，不使用子图抽取，则预测 $k$

• 时间：$O(T(M+N))$，$T$ 为 GCN 层数，$M,N$
• 空间：$O(M+N)$。

Labeling trick 的实现

此处，我们介绍 SEAL[3]。它实现的 labeling trick 方法为 Double Radius Node Labeling(DRNL)：给定图 $G$ 和目标链接 $(i,j)$：

1. 抽取 $(i,j)$ 周围的 $h$ 跳子图 $G_{ij}$，其中 $G_{ij}$ 的节点 $V_{ij}$ 满足：
   $V_{ij}=\{k~|~d(k,i)\leq h~\mathrm{or}~d(k,j)\leq h\},$
   其中 $d(k,i)$ 表示 $k,i$
2. 节点标注：

• 赋予 $i,j$ 标签 $1$；
• 距离 $i,j$ 的距离为 $\{1,1\}$ 的节点标签为 $2$；
• 距离 $i,j$ 的距离为 $\{1,2\}$ 的节点标签为 $3$；
• $f(k)=1+\min (d_i,d_j)+\frac{d}{2}(d/2+d\%2-1)$，其中 $d=d_i+d_j$。

在 SEAL 的实验中，$h=1$。

Labeling trick 的扩展

综上所述，labeling trick 的四步：

1. 在目标链接 $(i,j)$ 的附近抽取子图 $G_{ij}$；
2. 在 $G_{ij}$
3. 在 $G_{ij}$
4. 得到最终的链接表示。

其中，时间主要消耗在针对每个目标链接对应的不同的子图上运行 GNN。那么，可否改变步骤 2、3 的顺序，从而相当于我们在原图上只运行一遍 GNN，而在预测不同的链接时，才对节点进行额外的标注？这正是 ELPH[5]、 GDGNN[6] 的想法。ELPH 的基本过程如下：

1. 根据原图 $G$，构建一个增强的图 $G$（$G$
2. 在 $G$
3. 在预测目标链接 $(i,j)$ 时，有
   $p(i,j)=\psi (z_i \odot z_j, \{\mathcal{B}_{ij}[d],\mathcal{A}_{ij}[d_i,d_j]~|~\forall d,d_i,d_j\in[k]\}),$
   预测链接 $(i,j)$ 用到两部分信息，分别是基于节点表示的预测 $z_i \odot z_j$ 以及后面的针对链接 $(i,j)$ 的标注（具体标注的方法此处不再赘述，但它与 GNN 的运行无关）。从而，尽管我们仍然需要针对每个目标链接 $(i,j)$ 进行不同的标注 $\mathcal{B}_{ij}[d],\mathcal{A}_{ij}[d_i,d_j]$，但只需要在原图上运行一遍 GNN，效率得到了极大的提升。

Partial labeling trick

上面讲述的 labeing trick 将链接同构问题转化为了图同构问题，那么我们是否可以通过类似的方法将它转化为节点同构问题？答案也是可以的，以下图为例。

要预测原图 $G$ 中以节点 $v_1$ 为端点的链接 $(v_1,v_2)$，我们只需要标注节点 $v_1$，使其与其它节点不同，得到诱导出的图 $G_1$ 如上所示。我们有：
$((v_1,v_2),G)\simeq ((v_1,v_3),G) \iff (v_2,G_1)\simeq (v_3,G_1).$
从而，我们将链接同构问题转化为了节点同构问题。这个方法的优点在于，平均来说相比于 labeing trick，我们只需要运行 $1/N$

算法复杂度

给定一个图 $G=(V,E)$，假设我们要：

• 预测一个链接：

• 时间：$O(T(M+N))$，$T$ 为 GCN 层数，$M,N$
• 空间：$O(M+N)$。

• 预测所有头节点（尾节点）相同的链接：

• 时间、空间与上面相同。

从而，平均意义上 partial labeling trick 计算每一个目标链接需要时间 $O(M/N)$，与 GCN 计算一个目标节点需要的平均时间相同。

实现

此处我们简要介绍 NBFNet[7]。NBFNet 通过参数化 Bellman-Ford 算法得到了 partial labeling trick。考虑图中单源最短路径的表示：
$d(s,t)=\min_{e\in V}(d(e)+edge(e,t)),$
参数化上面的式子，可以得到：
$h_t^{(l+1)}=\mathrm{Aggregate}(\{\mathrm{Message}(h_e^{(l)},w_q(e,r,t))~|~(e,r,t)\in G\}\cup \{h_t^{(0)}\})$

在预测任意首节点为 $s$ 的链接时，NBFNet 首先重新标注图：
$h_v^{(0)}=\mathrm{Indicator}(s,r,v)$
剩余的部分等同于在该图上运行一个 GNN。

总结 Labeling trick

• GNN 擅长学习节点、图的结构；
• 将链接预测问题转化为节点分类、图分类问题；

Higher-order 表示

既然 GNN 能够学习节点表示，那么我们直接扩展 GNN 的结构，使其能够直接学习链接表示。一般来说，我们需要：

• 对所有的节点对 $(s,t)\in V\times V$ 赋予一个对应的向量表示 $z_{s,t}$。
• 在 $z_{s,t}$

我们直到，消息传递需要在每个节点的邻居处聚合信息。如何定义 $(s,t)$ 的邻居节点 $N(s,t)$？目前来说，方法主要有两种，分别对应于 2-WL 和 2-FWL 图同构测试。

• 2-WL: $N(s,t)=(\{\{(s,e)~|~e\in V\}\},\{\{(e,t)~|~e\in V\}\})$
• 2-FWL: $N(s,t)=\{\{((s,e),(e,t))~|~e\in V\}\}$

定义了邻居后，我们就可以同样运行消息传递，来计算节点对的向量表示。这种方法的缺点在于，由于共有 $N^2$

实现

此处我们介绍 EdgeTransformer[8]。它实现了 2-FWL 的消息传递模式。假设 $\mathbf{X}\in \mathbb{R}^{N\times N\times d}$ 是图的全连接张量表示，其中 $\mathbf{X}[i,j,:]$ 对应于边 $(i,j)$ 的表示，$\mathbf{X}[i,i,:]$ 对应于节点 $i$ 的表示。在每一层，有
$\mathbf{X}$

其中，$FFN$ 为一个全连接层，独立地应用于每个 $\mathbf{X}[i,j,:]$，$\mathrm{LN}$ 表示 layer normalization， $\mathrm{TraingularAttention}$ 是论文中提出的注意力计算方法，实际上是 2-FWL 的计算模式，它对每个 $\mathbf{X}[i,j,:]$，输出一个向量 $a_{ij}\in\mathbb{R}^d$：
$a_{ij}=W^O \sum_{l\in[1,N]} \alpha_{ilj}v_{ilj},$
$\alpha_{ilj}=\mathrm{softmax}_{l\in[1,N]} q_{il}k_{lj}/\sqrt{d},$
$q_il=W^q x_{il},$
$k_{lj}=W^k x_{lj},$
$v_{ilj}=V^1 x_il \odot V^2 x_lj.$

Partial higher-order 表示

由上面的讨论可知，higher-order 表示主要的空间复杂度来源于它的邻居定义并没有考虑到图的稀疏性。为了将稀疏性也考虑在内，我们可以稍微修改一下邻居的定义方法[9][10]：

$\mathrm{Partial ~ 2-WL}: N(s,t)=(\{\{(s,e)~|~e\in N(s)\}\},\{\{(e,t)~|~e\in N(t)\}\})$
$\mathrm{Partial ~ 2-FWL}: N(s,t)=\{\{((s,e),(e,t))~|~e\in N(s)\}\}.$

Morris et al.[11] 证明了使用 MPNN， Partial 2-WL 方法表达能力严格大于 2-WL；然而，Partial 2-FWL 的表达能力却小于 2-FWL。

实现

我们简要介绍一下 [10] 中的实现方法。同样假设 $\mathbf{X}\in \mathbb{R}^{N\times N\times d}$

$A_{ij}^{(0)}=\mathbf{X}[i,j],$
$A^{(l+1)}=f(\mathrm{concat}(B^{(l)},A^{(l)}),$
$B_{ij}^{(l)}=\sum_{k\in[N]} g(A^{(l)}_{ik})\odot(A_{kj}^{(l)})$

从而，计算过程需要 $O(N^3)$ 时间和 $O(N^2)$ 空间。[10] 提出了该算法的局部版本 (local version)，对应于 partial higher-order 表示。计算过程中，只考虑 $N(s,t)=\{\{((s,e),(e,t))~|~e\in N(s)\}\}$；计算过程中，也只考虑张量 $A,B$

总结

综合上面的讨论，给定两个图 $G=(V_G,E_G),H=(V_H,E_H)$ 和 $s,t\in V_G,p,q\in V_H$，那么下面的陈述是等价的：

• $((s,t),G)\simeq ((p,q),H)$
• 使用 partial labeing trick 得到 $G_s,H_p$，且 $(t,G_s)\simeq (q,H_p)$
• 使用 labeling trick 得到 $G_{s,t},H_{p,q}$，且 $G_{s,t}\simeq H_{p,q}$

推广上述结论，给定图 $G=(V_G,E_G),H=(V_H,E_H)$，假设我们要学习 $k-$节点组的表示：
$\mathbf{v}=(v_1,v_2,...,v_k)\in V_G^k,\mathbf{w}=(w_1,w_2,...,w_k)\in V_H^k,$

那么对任意的 $0\leq i\leq k$，下面的陈述是等价的：

• 使用 (partial) labeling trick 部分标注节点 $v_1,v_2,...,v_i$ 和 $w_1,w_2,...,w_i$，分别得到图 $G_{\mathbf{v}_i},H_{\mathbf{w}_i}$，且 $((v_{i+1},v_{i+2},...,v_k),G_{\mathbf{v}_i})\simeq ((w_{i+1},w_{i+2},...,w_k),H_{\mathbf{w}_i}).$

实验

同质图

异质图

参考文献

[1] Labeling Trick: A Theory of Using Graph Neural Networks for Multi-Node Representation Learning. Zhang et al, NeurIPS 2021.

[2] Variational Graph Auto-Encoders. Kipf et al. NeurIPS 2016 Workshop.

[3] Link prediction based on graph neural networks. Zhang et al. NeurIPS 2018.

[4] Inductive relation prediction by subgraph reasoning. Teru et al. ICML 2020.

[5] Graph Neural Networks For Link Prediction With Subgraph Sketching. Chamberlain et al. ICLR 2023.

[6] Geodesic Graph Neural Network for Efficient Graph Representation Learning. Kong et al. NeurIPS 2022.

[7] Neural Bellman-Ford Networks: A General Graph Neural Network Framework for Link Prediction. Zhu et al. NeurIPS 2021.

[8] Systematic Generalization with Edge Transformers. Bergen et al. NeurIPS 2021.

[9] Weisfeiler and Leman Go Neural: Higher-order Graph Neural Networks. Morris et al. AAAI 2018.

[10] Two-Dimensional Weisfeiler-Lehman Graph Neural Networks for Link Prediction. Hu et al. ArXiv.

[11] Weisfeiler and Leman go sparse: Towards scalable higher-order graph embeddings. Morris et al. NeurIPS 2020.