插播一条广告:
图数据一直就是机器学习领域里最重要的数据结构。与图像数据和文本数据相比,神经网络在图数据上的大规模应用最近几年才大量出现,然而已经呈现出井喷的趋势,在学术界和工业界都产生了巨大的影响。想要系统掌握的话,不仅要知道原理,更要懂得代码细节,以及亲手实战具体项目,了解近年来来一系列模型的发展脉络。想要全面地学习这些知识点的话,可以学习 bienlearn 上的图神经网络专栏。
这个图神经网络专栏由大厂高级算法工程师丁雨山&彬斌主笔,帮助新手以及有一定基础的同学快速入门图神经网络,既包括原理、代码的解读,还有对图网络底层设计思想的理解与项目实操。不管是准备面试、项目实战还是比赛刷分,都可以找到对应的内容。
目前在限时优惠,更详细的内容大家可以点击下方卡片查看
GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training. 2020. KDD
论文地址:
GCC: Graph Contrastive Coding for Graph Neural Network Pre-Trainingarxiv.org
摘要:
预训练和微调范式为图形表示学习提供了巨大的潜力。
目录:
论文介绍:
目前很多的图数据表示主要是”自产自销“,也就是说在某个特定的图数据集训练的模型只能运用到这个特定的数据集。受到CV和NLP中预训练和微调思想的影响,我们是否可以学习到可迁移的具有代表性的图表示?
为了解决这个问题,我们需要解决:如何设计一种预训练任务从不同的图数据中捕获模式?本文解决的思路是contrastive learning。为了使用contrastive learning,我们需要明确:什么是实体,如何编码实体,如何判别实体?
本文对于任意节点构建ego子图当作实体,使用GNN当作编码器编码实体,然后使用contrastive learning训练模型。通过contrastive learning可以融合不同领域的图数据的特性。
训练好模型以后,直接使用GNN编码器来编码节点ego图送入后续应用。