图神经网络复现 图神经网络教程_人工智能


文章目录

  • 前言
  • 深度学习基础
  • 监督学习
  • 损失函数
  • 随机梯度下降
  • 反向传播
  • 图神经网络简介
  • 图表示学习的发展历史
  • 图神经网络
  • 图滤波操作
  • 通用的GNN框架(节点任务)
  • 图池化操作
  • 通用的GNN框架(图任务)
  • 谱图论
  • 拉普拉斯矩阵作为算子
  • 拉普拉斯矩阵的特征分解
  • 特征向量作为图上的信号
  • 图傅立叶变换(GFT)
  • 图滤波
  • 两大类图滤波操作
  • 最早的图滤波操作
  • 图谱滤波
  • 将图谱滤波运用到GNN上
  • GCN-Filter: 简化的Cheb-Filter
  • 处理多通道图信号的GCN-Filter
  • 从空间域理解GCN-Filter
  • 从图信号降噪的角度理解GCN-Filter
  • 图池化
  • 图池化操作
  • 通用的GNN框架(图任务)
  • 平面池化
  • 平均池化和最大池化
  • 添加虚拟节点进行池化
  • 基于注意力机制的平面池化
  • 层次图池化操作
  • 总结


前言

  • 机器学习 = 数据挖掘 = 人工智能
  • 深度学习:使用深度神经网络进行机器学习
  • 图深度学习:使用深度学习对图进行机器学习
  • 图深度学习 = 图神经网络

深度学习基础

图神经网络复现 图神经网络教程_人工智能_02


图神经网络复现 图神经网络教程_深度学习_03

图神经网络复现 图神经网络教程_神经网络_04

监督学习

图神经网络复现 图神经网络教程_图神经网络复现_05

损失函数

图神经网络复现 图神经网络教程_深度学习_06


图神经网络复现 图神经网络教程_深度学习_07

随机梯度下降

  • iteration = step= 输入一个mini batch = 一次迭代 = 一步
  • epoch = 一轮 = 完整遍历训练集的所有样本一遍

图神经网络复现 图神经网络教程_图神经网络复现_08


图神经网络复现 图神经网络教程_人工智能_09

反向传播

图神经网络复现 图神经网络教程_人工智能_10


图神经网络复现 图神经网络教程_深度学习_11


图神经网络复现 图神经网络教程_图神经网络复现_12


图神经网络复现 图神经网络教程_深度学习_13

图神经网络简介

图表示学习的发展历史

图神经网络复现 图神经网络教程_深度学习_14


图神经网络复现 图神经网络教程_人工智能_15


图神经网络复现 图神经网络教程_人工智能_16

图神经网络

图神经网络复现 图神经网络教程_神经网络_17

图滤波操作

图神经网络复现 图神经网络教程_图神经网络复现_18

通用的GNN框架(节点任务)

图神经网络复现 图神经网络教程_深度学习_19

图池化操作

图神经网络复现 图神经网络教程_神经网络_20

通用的GNN框架(图任务)

图神经网络复现 图神经网络教程_神经网络_21

谱图论

拉普拉斯矩阵作为算子

图神经网络复现 图神经网络教程_神经网络_22

拉普拉斯矩阵的特征分解

图神经网络复现 图神经网络教程_人工智能_23

特征向量作为图上的信号

图神经网络复现 图神经网络教程_图神经网络复现_24

图傅立叶变换(GFT)

图神经网络复现 图神经网络教程_图神经网络复现_25


图神经网络复现 图神经网络教程_图神经网络复现_26

图滤波

两大类图滤波操作

图神经网络复现 图神经网络教程_深度学习_27

最早的图滤波操作

图神经网络复现 图神经网络教程_人工智能_28

图谱滤波

图神经网络复现 图神经网络教程_图神经网络复现_29


图神经网络复现 图神经网络教程_图神经网络复现_30

将图谱滤波运用到GNN上

图神经网络复现 图神经网络教程_神经网络_31


图神经网络复现 图神经网络教程_图神经网络复现_32


图神经网络复现 图神经网络教程_图神经网络复现_33


图神经网络复现 图神经网络教程_神经网络_34


图神经网络复现 图神经网络教程_神经网络_35

GCN-Filter: 简化的Cheb-Filter

图神经网络复现 图神经网络教程_人工智能_36

处理多通道图信号的GCN-Filter

图神经网络复现 图神经网络教程_图神经网络复现_37

从空间域理解GCN-Filter

图神经网络复现 图神经网络教程_图神经网络复现_38


GraphSage-Filter

图神经网络复现 图神经网络教程_深度学习_39


ECC-Filter

图神经网络复现 图神经网络教程_人工智能_40


GGNN-Filter

图神经网络复现 图神经网络教程_图神经网络复现_41


MPNN

图神经网络复现 图神经网络教程_深度学习_42


PPNP

图神经网络复现 图神经网络教程_人工智能_43


APPNP

图神经网络复现 图神经网络教程_人工智能_44

图神经网络复现 图神经网络教程_人工智能_45


一些滤波操作的简单回顾

图神经网络复现 图神经网络教程_神经网络_46

从图信号降噪的角度理解GCN-Filter

图神经网络复现 图神经网络教程_深度学习_47


图神经网络复现 图神经网络教程_图神经网络复现_48


从图降噪角度理解PPNP

图神经网络复现 图神经网络教程_人工智能_49


图神经网络复现 图神经网络教程_深度学习_50


从图降噪角度理解GCN

图神经网络复现 图神经网络教程_神经网络_51


图神经网络复现 图神经网络教程_人工智能_52


从图降噪角度理解GAT

图神经网络复现 图神经网络教程_人工智能_53


图神经网络复现 图神经网络教程_神经网络_54


图神经网络复现 图神经网络教程_深度学习_55


一个统一的理解

图神经网络复现 图神经网络教程_图神经网络复现_56


一个统一的框架: UGNN

图神经网络复现 图神经网络教程_神经网络_57

利用UGNN设计新的图滤波操作

图神经网络复现 图神经网络教程_人工智能_58


Graph Trend Filtering

图神经网络复现 图神经网络教程_神经网络_59

图池化

图池化操作

图神经网络复现 图神经网络教程_人工智能_60

通用的GNN框架(图任务)

图神经网络复现 图神经网络教程_深度学习_61

平面池化

图神经网络复现 图神经网络教程_神经网络_62

平均池化和最大池化

图神经网络复现 图神经网络教程_图神经网络复现_63

添加虚拟节点进行池化

图神经网络复现 图神经网络教程_人工智能_64

基于注意力机制的平面池化

图神经网络复现 图神经网络教程_图神经网络复现_65

层次图池化操作

图神经网络复现 图神经网络教程_图神经网络复现_66


gPool

图神经网络复现 图神经网络教程_人工智能_67


SAGPool

图神经网络复现 图神经网络教程_深度学习_68


DiffPool

图神经网络复现 图神经网络教程_人工智能_69


图神经网络复现 图神经网络教程_人工智能_70


Eigenpooling

图神经网络复现 图神经网络教程_人工智能_71


通过傅立叶变换得到

图神经网络复现 图神经网络教程_人工智能_72


图神经网络复现 图神经网络教程_神经网络_73

用傅立叶系数作为特征

图神经网络复现 图神经网络教程_人工智能_74

用截断傅立叶系数作为特征

图神经网络复现 图神经网络教程_图神经网络复现_75

总结

本文主要回顾了一下深度学习的相关知识,先从总体上对图神经网络进行了简要介绍,图表示学习从数据降维发展到图嵌入到图神经网络。图神经网络需要一些谱图论的知识,因此本文又介绍了谱图论的相关知识,包括拉普拉斯矩阵和傅里叶变化等。最后介绍了图神经网络中常见的两种操作:图滤波和图池化。