【KD】2023 NeurIPS Does Graph Distillation See Like Vision Dataset Counterpart?

简介 

      在大规模图数据集上进行GNN训练是一个艰巨的挑战。特别是在增量学习和图结构搜索这些经常需要重复训练的场景中，训练图模型不仅消耗大量时间，还对显存和计算能力提出了严峻要求。最近，图数据集蒸馏/图压缩(Graph Dataset Distillation / Graph Condensation)方法引起了广泛关注，它旨在将庞大的原始图数据蒸馏至一个极小规模且信息丰富的生成图，使得在此生成图上的训练模型能够以极低的代价获得与原图相近的性能。

Paper:

https://arxiv.org/abs/2310.09192

Code:

https://github.com/RingBDStack/SGDD

然而，尽管现有的图数据蒸馏方法取得了显著的进展，现有的图数据蒸馏(图压缩)方法往往是将面向图像数据的数据蒸馏方法简单扩展到图数据上，忽视了图结构在图数据蒸馏中的关键作用。通过