本项工作发布于2021年。由于图神经网络（GNNs）的内存消耗大、推理延迟长，因此其训练和部署仍然十分困难。在这项工作中，作者提出了一种新型的GNN架构，它能够以更低的内存消耗和延迟实现最先进的性能，同时还具有适合加速器实现（指的可能是cuda等）的特性。本文方法所使用的内存与图中顶点的数量成正比，而其它方法所使用的内存数量则与边成正比；通过实验作者发现，在5个不同的大型数据集上，本文的可以比其他方法取得更高的准确率。受信号处理领域方法的启发，作者使用了一种新颖的自适应滤波来实现本文方法，自适应滤波可以被理解为让每一个顶点都有自己的权重矩阵，而与注意力无关（…, and is not related to attention）。
为了能够对硬件进行更加高效的使用，本文提出了一种聚合器融合技术（aggregator fusion），该技术可以大幅度地提高GNNs的表示能力，而延迟时间仅比标准的稀疏矩阵乘法增加了19%。
总结： 从摘要部分来看，本文所提出的EGC（Efficient Graph Convolution）的关注点是在于图卷积网络的小型化和高效化，重点关注了如何在硬件上训练与部署更加高效的GNN。
本项工作发布于2021年，并被AAAI 2021接收。图神经网络（GNNs）是一种针对网络结构相关任务（GNNs have been proven to be effective in various network-related tasks.）的高效方法。大多数现存的GNNs方法通常仅仅关注并利用了结点特征当中的低频信号，这不禁引发人们对一个关键问题的思考：在真实世界的应用当中，仅仅关注到图信号的低频信息就足够了吗？ 在这项研究当中，作者首先通过一项实验调查，评估了低频和高频信号的作用。结果清晰地表明，在不同的场景下，仅仅对低频信号进行探索与达到学习一种有效的结点表示这一目标相去甚远。那么应该如何自适应地在GNNs中学习一种比低频信号包含更多信息的结点表示呢？A well informed answer cam help GNNs enhance the adaptability. 作者解决了这一问题，并提出了一种新颖的带有自门控机制的频率适应图卷积神经网络（Frequency Adaptation Graph Convolutional Networks, FAGCN），它可以在信息传递（Message passing）的过程中自适应地对不同信号进行聚合。为了使读者能够对本文方法产生更深刻的理解，作者从理论分析的角度对学习结点表示的过程中低频信号和高频信号所扮演的不同角色给出了解释，这一分析进一步解释了为什么FAGCN可以在不同类型的网络数据上表现良好。通过6个在真实世界网络数据集进行大量的实验，证明了FAGCN不仅可以缓解GNNs中过度平滑的问题（Over-smoothing Problem in GNNs），而且它的性能超过了当年的SOTA水准。
这项工作发布于2018年，是一项关于注意力机制在图神经网络当中的应用的工作。最近流行的图神经网络在一些基于图的半监督学习的基准数据集上达到了SOTA水准的精度，显著高于现有的方法。这些GNNs架构交替使用可以聚集局部邻域隐藏状态的传播层和全连接层。但是作者发现了一个可能令人惊讶的实验现象，即如果将网络架构当中的全连接层全部去掉，这样的GNNs仍然可以达到与SOTA相当的性能。去掉全连接层大幅度地降低了模型中的参数两，这对于仅有少量标注数据的半监督学习来说至关重要。此外，去掉的全连接层又为加入更具创新性的信息传播层提供了空间。基于上述见解，作者提出了一种新颖的图神经网络，它去掉了中间所有的全连接层，并使用遵从图结构的注意力机制来取代传播层。注意力机制允许GNNs可以学习到邻域的动态自适应局部摘要（The attention mechanism allows us to learn a dynamic and adaptive local summary of the neighborhood to achieve more accurate predictions.），从而提升预测的精度。通过在若干个基准引用网络数据集上开展实验，作者发现它们的方法比基线方法的性能更好。通过对图中结点与其邻接点之间的注意力权重进行分析，作者还提供了一些关于邻接结点之间相互影响的有趣见解。
本文提出了一种新颖的基于相似度的注意力图神经网络AGNN（Attention-based Graph Neural Network），它基于余弦相似度这一先验知识，通过计算结点之间的余弦相似度，来获得注意力权重，是一种基于相似度（Attention based on similarity）的注意力图神经网络。
这项工作发布于2018年，并被ICLR 2018接收。本文提出了一种图注意力网络（Graph Attention Networks，GATs），它是一种作用在图结构数据上的新颖的框架，通过利用带有掩码的自注意力层（Masked self-attentional layers）来解决之前基于图卷积及其近似的方法存在的不足。通过层层堆叠的方式，结点可以关注到其邻域结点的特征信息，使得模型可以（隐式地）为邻域中的不同结点赋予不同的权重，并且既不需要代价极高的矩阵运算（如矩阵求逆）也不需要对图结构具有先验知识。通过在这种方式，作者同时解决了多个基于谱的图神经网络所面临的关键挑战，并使得本文所提出的模型可以随时应用于归纳与转导问题（…, and make our model readily applicable to inductive as well as transductive problems）。本文提出的GATs在四个转导和归纳的图基准数据集上取得了SOTA水准或是达到了与SOTA水准不相上下的精度，它们是Cora、Citeseer、Pubmed引用网络数据集，以及蛋白质-蛋白质相互作用数据集（Protein-protein interaction dataset）。
GATs是一种基于学习的注意力图神经网络，与基于相似度的注意力图神经网络不同，它不需要相似度度量作为先验知识，而是通过类似于Transformer的自注意力机制来动态地学习注意力权重。
这项工作发布于2018年，顾名思义，本文提出了一种带有门控机制的注意力图神经网络。
本文提出了一种新颖的网络架构，门控注意力网络（Gated Attention Networks，GaAN），来对图结构数据进行学习。传统的注意力机制会平等地对每一个注意力头进行考虑，与之不同，GaAN使用卷积子网络来控制每个注意力头的重要性。作者通过在归纳节点分类问题上进行实验，展示了GaAN的有效性。此外，将GaAN作为模型的构建模块，作者构建了一种图门控循环单元（Graph Gated Recurrent Unit，GGRU），来解决交通速度预测问题。通过在三个真实世界数据集上开展广泛的实验，发现本文提出的GaAN框架可以在上述两项任务中取得SOTA水准的结果。
通过摘要的阅读，我认为本文的大致思想是对多头注意力当中的每一个头的重要性分配了一项权重，从而进一步提升了模型的表达能力。摘要部分较为简短。
本项工作发布于2021年，并被ICLR 2021接收。图神经网络当中的注意力机制是对当前结点某些重要的邻居赋予更大的权重，以增强模型的表达能力。然而，图注意力到底学习到了什么，却无从解释，特别是当图中有噪声存在时。在这项工作中，作者提出了一种自监督的图注意力机制（Self-supervised Graph Attention Network，SuperGAT），它是一种针对带噪图数据的改进的图注意力模型。具体而言，本文提出了两种形式的用于边预测自监督代理任务的注意力（Specifically, we exploit two attention forms compatible with a self-supervised task to predict edges, …），边的存在与缺失包含着结点之间关联重要新的隐含信息。通过对边进行编码，SuperGAT可以通过区分错误连接的邻居结点来学习一种更具表达力的注意力。作者还发现了两种影响注意力和自监督有效性的图数据的特点，即同质性和平均度（We find two graph characteristics influence the effectiveness of attention forms and self-supervision: homophily and average degree）。因此，本文提供的解决方案还包括在已知两种图特征之一或更多的前提下，使用哪一种注意力来对模型进行设计更好。通过在17个真实世界数据集上开展实验，本文方法在其中15个数据集上具有通用性，并且根据本文方法设计的模型的性能相比其它基线方法有所提高。