休息了一下午之后，晚上还是打算继续做一些研究工作，打算继续看综述并总结其中提到的文章的摘要了…
上午对图注意力神经网络（GAT）及其变体进行了介绍，GAT的区别主要是在于注意力函数的设计。其中AGNN是基于（余弦）相似度的图注意力模型，而GAT是基于学习的图注意力模型；还介绍了GaAN，它是一项将注意力应用到多头注意力头的工作；而SuperGAT则进一步引入了自监督学习思想，通过边预测这一代理任务，来进一步为GAT引入抗噪性。
下面介绍几种图残差学习网络，顾名思义，即将计算机视觉中家喻户晓的残差连接引入到图神经网络中，从而使得图神经网络模型也可以 g o ? d e e p e r go\ deeper go?deeper。
这项工作发布于2018年，综述中给它的名称是Highway GCN，这一名称不禁使人认为这项工作是将带有门控的跳层连接引入到了GCN当中。
社交媒体用户地理位置对事件检测等许多应用至关重要。在这项工作中，作者提出了一种基于GCN的多视角地理定位模型，它同时使用了文本信息和网络信息（听起来像是多模态，同时使用了文本特征和图数据特征的multi-modal）。作者将本文提出的GCN与当年最先进的模型以及作者提出的两个基线模型进行了对比，结果表明，在监督充足的前提下，本文提出方法在三个基准地理定位数据集上达到了SOTA水准，或是达到了与SOTA接近的水平。作者进一步评估了GCN在最小监督下的表现，结果表明它优于基线模型。作者还发现，Highway Networks Gates对于控制GCN中有效的领域拓展量来说至关重要。
这项工作发布于2018年，是一项被ICML-2018接收的工作。
近期的用于图表示学习的深度学习方法都使用到了邻域聚合（a neighborhood aggregation procedure）这一过程。作者分析了这些模型的一些重要特性，并提出了克服这些模型局限性的策略（原文是…, and propose a strategy to overcome those. 应该翻译为特性，但是既然是特性，作者在此提到要克服，不禁使人猜测这些特性就是这些模型的局限性）特别是，一个结点的表示所取自的相邻的结点的范围很大程度上取决于图的结构，这类似于随机漫步的扩散。为了能够适应局部的邻域属性和任务，作者探索了一种新的架构——跳跃知识网络（Jumping Knowledge Networks，JK-Net），它可以灵活地运用每个结点不同的邻域范围，从而实现更好的结构感知表示。通过在社交网络、生物信息学和引用网络上开展大量的实验，本文提出的方法达到了SOTA水准。此外，将JK框架与GCN、GraphSAGE和GAT等模型相结合，可以提升这些模型的性能。
这项工作发布于2019年，并被ICCV-2019接收。
通过文章的标题使我顾名思义地认为，这是一项对GCNs能否和CNNs一样，进行一种很深的设计的探索。
CNNs在多个不同的领域中取得了令人印象深刻的表现。这些成功受益于非常深的CNN模型可以可靠地进行训练。尽管CNNs具有众多优点，但遗憾的是它不能处理非欧氏空间当中的数据。为了解决这一难题，GCNs通过构建图数据来对非欧氏空间当中的数据进行表示，它借鉴了CNNs的思想，并将这些思想在训练过程中加以使用。
GCNs的结果非常的客观，但是由于梯度消失问题，它们的设计通常都较浅。因此，大多数SOTA水准的GCN模型通常层数不会超过三到四层。在这项工作中，作者介绍了一种可以成功地训练非常深的GCNs的方法。同样是通过借鉴CNNs中的思想来实现，特别是残差连接/密集连接（DenseNet）个扩张卷积（Dilated Convolutions），并将它们应用到了GCN架构中。大量的实验结果表明，基于上述技术实现的深度GCN框架是有效的。
最后，作者用文中提到的新的思想构建了一个深达56层的GCN，这个深达56层的GCN模型大幅度地提高了模型在点云分割任务（由于我也是近期才开始接触图神经网络相关知识的，原来GNNs也可以用于处理点云数据，并完成其下游任务。:）上的性能。作者相信这项研究将为推进GCN的研究带来更多的机会。