1、文章信息
《Traffic Flow Forecasting with Spatial-Temporal Graph Diffusion Network》。这是华南理工大学和京东数科合作发表在计算机顶级会议AAAI2021上的一篇文章。
2、摘要
在各种时空挖掘应用中，例如智能交通控制和公共风险评估，准确预测整个城市的交通流量一直发挥着至关重要的作用。尽管先前的工作已为学习交通时序动态和空间依赖性做出了巨大努力，但当前模型存在两个关键局限性：i）这些方法中的大多数仅专注于相邻区域之间的相邻空间相关性，而忽略了全局地理上下文信息；ii）这些方法无法对本质上具有时间依赖性和多分辨率的复杂流量转移规律进行编码。为了应对这些挑战，本文提出了一个新的交通流量预测框架-时空图扩散网络。特别地，ST-GDN是一种分层结构的图神经体系结构，它不仅从局部区域学习地理相关性，而且从全局角度学习空间语义。此外，本文中还开发了多尺度注意力网络以使ST-GDN具有捕获多级时间动态的能力。对四个真实交通数据集的实验表明，ST-GDN的性能优于其他类型的最新基准。
3、动机
在现实生活中，交通流模式通常是复杂且多周期的，因为每个单独的时间分辨率视图（例如，每小时，每天，每周）反映了来自不同时间维度的交通动态。所捕获的时间模式通常彼此互补。因此，学习交通变化模式的鲁棒表示需要具有不同时间分辨率的多个视图的协作。虽然递归网络在各种时空序列预测任务上均取得了良好的性能，但它们仅对短期，平稳的动力学有效，并且几乎无法在高阶多维时间范围内进行预测。
当前大多数的预测方法只专注于对邻近的地理相关性进行建模，而忽略了全局背景下的跨区域相互依赖性。例如，具有相似城市功能的两个地理区域（例如，购物区或交通枢纽）可以在交通分布方面相互关联，尽管它们在空间上并不相邻，甚至彼此相隔遥远。因此，没有全局级别的交通转移信息的学习的区域范围的关系结构不仅不能提炼局部的地理依存关系，而且还不足以提炼跨区域的语义关系，从而得到次优的预测。
为了解决上述挑战，论文中针对区域特定的交通流量提出了一种新的预测框架时空图扩散网络。在ST-GDN中开发了一个多尺度的自注意力网络来研究跨各种时间分辨率的多粒度时间动态，以便对交通转移规律的时间层次进行编码。为了促进不同分辨率的时间表示形式之间的协作，提出了一个聚合层来跨多级时间动态模型对基础依赖性进行建模。另外，通过注意力图扩散范例开发的分层图神经网络使ST-GDN能够以联合方式将空间语义从局部级别的空间邻近关系合并到整个城市的全局级别的交通模式表示。
4、模型
论文中图1介绍了本文中提出模型ST-GDN的框架，如下所示。它主要由时间层次建模，全局背景下的交通依赖学习，图扩散范式的区域关系学习，跨分辨率模式聚合四个模块组成。接下来分别对这几个主要模块做详细介绍。
（1）时间层次建模模块
论文中首先提出一个多尺度的自注意力网络，以将多级时间信号共同映射为共同的潜在表示，以捕获复杂的交通模式。这里的多尺度时间信息与经典交通预测模型ST-ResNet一样，分别整理为邻近性信息（最近几个小时的信息），周期性信息（前一天同时间片的信息），趋势性信息（前一周同时间片的信息）。
给定每个时间分辨率p，可以生成分辨率感知流量序列
，其中Tp是具有p分辨率的相应流量序列长度。然后提出了一种自注意网络来从时间维度对流量变化模式进行编码。特别的，论文中的编码器是基于自注意力机制构建的：
其中查询Q，键K和值V矩阵都是由交通流量序列本身映射而成的张量。
(2) 全局背景下的交通依赖学习模块
此步骤的目标是根据动态流量转移模式来利用不同区域之间的全局级别依赖性。首先定义一个区域图G =（R，E），其中R是区域集，E表示两个空间区域之间的成对关系。这篇论文中开发了一种注意力聚集机制来捕获区域之间的局部和全局流量依赖关系。具体来说，通过以下注意的操作在图上执行消息聚合：
代表不同区域之间的特征消息传递机制。在这里，应用了多头注意力机制以捕获来自不同学习子空间的区域关系语义。此外
是参数化投影矩阵。潜在的注意力相关性参数矩阵
如下所示：
到这里可以看出来这个模块中最本质的还是图注意力网络(GAT)。得到注意力矩阵后，通过消息传递机制输出graph embedding：
本文中还应用了多阶信息聚合的trick。具有高阶关系建模的从GAT的第（l）层到第（l +1）层的信息聚合表示为：
Propagate（·）和Aggregate（·）分别表示消息构造和信息融合。最后生成区域的全局级表示 ：
(3) 图扩散范式的区域关系学习模块
除了在不同区域的流量演变模式方面具有全局依赖性外，还需要将区域之间的空间关系纳入了预测框架。特别是，论文中开发了一种图结构化扩散网络，以从图注意模块中完善学习到的分辨率感知区域表示。我们生成另一个区域关系图Gs =（Rs，Es，A），该图共同保留了地理相邻关系（K个相邻区域）和高流量相关性（较大的
值）。A表示由顶点距离函数加权的相邻矩阵。在这里，我们定义Do = A·I来表示出对角线对角矩阵，其中I是Gs的单位矩阵。设计的扩散卷积运算在图G中的每个顶点上执行扩散过程，以生成新的特征表示，如下所示：
(4) 跨分时间辨率模式聚合模块
最后通过引入门控机制来汇总可感知分辨率的流量表示。具体来说，文中的门控聚合机制会对多时间分辨率流量模式表示形式进行基于参数矩阵的和运算：
在此可训练的变换矩阵表示为Wh，Wd和Ww，分别对应于每小时，每天和每周的模式。最后生成整合性的多分辨率流量表示，它保留了流量模式的多粒度时间层次。
5、实验结果
论文中使用了四个数据集，分别是BJ-Taxi ，NYC-Taxi，NYC-Bike-1和NYC-Bike-2，将ST-GDN与多种baseline方法进行了比较。这篇论文中把baseline方法分为了传统时间序列模型，传统混合学习模型，循环时空预测模型，基于卷积的交通预测模型，卷积循环预测模型，图神经网络模型，深度混合预测模型几大类，全方位验证了新模型的有效性。
6、创新点
这项工作通过提出一种基于新架构（ST-GDN）的图神经网络来研究交通预测问题。具体来说，它首先设计了一个分辨率感知的自注意网络以对多级时间信号进行编码。然后跨通过依次学习不同区域的局部空间上下文信息和全局交通依赖关系随后被整合以增强时空模式表示。
Attention
