本文介绍了自编码器(AE),变分自编码器(VAE)图自编码器(GAE)和变分图自编码器(VGAE)的基本原理,以及说明了如何使用这四种方法应用到下游任务:分类,聚类,可视化等。

    自编码器是无监督学习领域中一个非常重要的工具。最近由于图神经网络的兴起,图自编码器得到了广泛的关注。笔者最近在做相关的工作,对科研工作中经常遇到的:图自编码器(GAE)和图变分自编码器(VGAE)进行了总结。如有不对之处,请多多指正。

自编码器(AE)

    在解释图自编码器之前,首先理解下什么是自编码器。自编码器的思路来源于传统的PCA,其目的可以理解为非线性降维。我们知道在传统的PCA中,学习器学得一个子空间矩阵,将原始数据投影到一个低维子空间,从未达到数据降维的目的。自编码器则是利用神经网络将数据逐层降维,每层神经网络之间的激活函数就起到了将"线性"转化为"非线性"的作用。自编码器的网络结构可以是对称的也可以是非对称的。我们下面以一个简单的四层对称的自编码器为例,全文代码见最后。
   (严格的自编码器是只有一个隐藏层,但是我在这里做了个拓展,其最大的区别就是隐藏层以及神经元数量的多少,理解一个,其它的都就理解了。)

一维卷积自编码器python 自编码器 卷积_神经网络

图自编码器(GAE)

\(n*n\) 的卷积核;另一个是图自编码器没有数据解码部分,转而代之的是图解码(graph decoder),具体实现是前后邻接矩阵的变化做loss。

   图自编码器可以像自编码器那样用来生成隐向量,也可以用来做链路预测(应用于推荐任务)。

一维卷积自编码器python 自编码器 卷积_神经网络_02

变分自编码器(VAE)

一维卷积自编码器python 自编码器 卷积_一维卷积自编码器python_03


   变分自编码是让中间层Z服从一个分布。这样我们想要生成一个新的样本的时候,就可以直接在特定分布中随机抽取一个样本。另外,我初学时遇到的疑惑,就是中间层是怎么符合分布的。我的理解是:

      输入样本:\(\mathbf{X \in \mathcal{R}^{n * d}}\)

      中间层 :\(\mathbf{Z \in \mathcal{R}^{n * m}}\)

   所谓的正态分布是让\(Z\)的每一行\(z_i\)符合正态分布,这样才能随机从正态分布中抽一个新的\(z_i\)出来。

变分图自编码器(VGAE)

    如果你理解了变分比编码器和图自编码器,那么变分图自编码器你也就能理解了。第一个改动就是在VAE的基础上把encoder过程换成了GCN的卷积过程,另一个改动就是把decoder过程换成了图decoder过程。