【论文阅读】LLM4GCL: CAN LARGE LANGUAGE MODEL EM-POWER GRAPH CONTRASTIVE LEARNING?

0、基本信息

• 会议：2024-ICLR-UNDER_REVIEW
• 评分：5，3，3，3
• 作者：Anonymous authors
• 文章链接：LLM4GCL: CAN LARGE LANGUAGE MODEL EM-POWER GRAPH CONTRASTIVE LEARNING?
• 代码链接：LLM4GCL: CAN LARGE LANGUAGE MODEL EM-POWER GRAPH CONTRASTIVE LEARNING?

1、研究动机

?图对比学习（ GCL）在使用无标签数据的预训练图神经网络上被证明是有效的方法，最近几年也提出了许多新的图对比学习方法，但是，当处理文本属性图（TAGs）时表现出局限性。

1. 之前的GCL简单地使用文本属性来做浅层的嵌入，例如Word 2vec或Bag-of-Wirds。这些浅嵌入并不能达到最好的效果，因为它们不能捕获语义特征的复杂性。
2. 它们以属性不可知的方式进行特征和结构增强，仅依赖于特征和边缘掩蔽等随机扰动函数，在图增强中没有充分利用有价值的文本属性。

?因其大语言模型强大的上下文学习能力，LLMs被用来学习文本属性图上的表征。但是现有的方法都是在监督任务中，如何在自监督任务中利用LLM学习文本属性图表征尚未探索。

?本文提出了LLM4GCL，第一个全面系统地研究LLM在GCL的应用。旨在深入解决以下关键研究问题：

• 如何利用LLM在特征和结构层面上增强图增强？
• 如何以无监督的方式微调预训练的PLM，以增强其编码文本节点属性和结构关系的能力？

在文本属性图上的对比学习范式如下图所示：

GCL：通过创建输入图的两个增强视图并训练GNN编码器以产生相同节点的两个视图的表征，并使两个表征尽量相似。

LLM指的是大型语言模型，例如ChatGPT，其需要强大的计算设备，而PLM表示在普通GPU上可微调的小型语言模型，例如，BERT.

2、创新点

?设计两个用于增强文本属性图上的对比学习方法：LLM-as-GraphAugmentor和LLM-as-TextEncoder。

• 前者利用LLM扰动原始图，专注于特征和结构方面，从而增强传统的启发式增强策略。
• 后者涉及使用自生成信号微调PLM，然后在标准GCL方法中利用所产生的节点特征。

2.1、LLM-as-GraphAugmentor

通过不同提示模板，利用LLM直接对特征和结构进行增广。

• LLM不使用原始的文本节点属性，而是可以使用适当的提示生成更多信息的文本描述。但是，将结构信息集成到这个过程中提出了一个巨大的挑战；
• 与创痛的图结构增广相比，LLM具有为GCL生成优秀的图结构的能力；
• 直接利用生成的文本属性和图结构来替换一个增强视图变得可行，表明LLM有能力简化图增广过程；

2.2、LLM-as-TextEncoder

设计几种自监督的微调策略，以使通用PLM适应图域，从而更有效地编码文本属性。

• PLM模型不能直接应用于编码文本节点属性；
• 与标准的掩码语言建模策略相比，在微调过程中对结构信息进行简化可以带来好处；

3、准备

3.1、文本属性图

?给定文本属性图（TAG） G = { V , S , A } \mathcal{G}=\{\mathcal{V},\mathcal{S},\mathbb{A}\} G={V,S,A}，具有N个结点，$\mathcal{V}$定义为结点集合，$\mathbf{A}\in {\mathbb{R}}^{N\times N}$表示邻接矩阵，对于每个结点$v\in \mathcal{V}$有一个文本属性${\mathcal{S}}_v$， S = { S v ∣ v ∈ V } \mathcal{S}=\{\mathcal{S}_v|v\in \mathcal{V}\} S={Sv?∣v∈V}。
?目标：预训练一个映射函数$f_{\theta }:\mathcal{S}\times \mathbf{A}\to {\mathbb{R}}^D$，使得$\mathcal{S}$中的语义信息和$\mathbb{A}$中的拓扑结构能够以自监督的方式在$D$维空间中被有效地捕获。

3.2、图神经网络

?简单来说，GNN的目标是通过聚合来自其邻居的消息来更新节点表示，表示为：

h v ( k ) = C O M ( h v ( k ? 1 ) , A G G ( { h u ( k ? 1 ) : u ∈ N v } ) ) \mathbf{h}_{v}^{(k)}=\mathrm{COM}(\mathbf{h}_{v}^{(k-1)},\mathrm{AGG}(\{\mathbf{h}_{u}^{(k-1)}:u\in\mathcal{N}_{v}\})) hv(k)?=COM(hv(k?1)?,AGG({hu(k?1)?:u∈Nv?}))
其中，${\mathbf{h}}_v^{(k)}$表示为第$k$层结点$v$的表征， N v = { u ∣ A v , u = 1 } \mathcal{N}_{v}=\{u|\mathbf{A}_{v,u}=1\} Nv?={u∣Av,u?=1}是结点$v$的直接邻域。${\mathbf{h}}_v^{(0)}={\mathbf{x}}_v$，${\mathbf{x}}_v=\mathrm{Emb}({\mathcal{S}}_v)\in {\mathbb{R}}^F$是来自结点$v$的文本属性${\mathcal{S}}_v$并通过$\mathrm{Emb}(.)$提取的一个$F$维数值向量表征的嵌入。AGG用于聚合来自邻居的特征，COM用于聚合的邻居信息并与来自上一层的自身节点嵌入结合起来。

3.3、文本属性图上的对比学习

${\tau }_f:{\mathbb{R}}^F\to {\mathbb{R}}^F\mathrm{and}{\tau }_s:\mathcal{V}\times \mathcal{V}\to \mathcal{V}\times \mathcal{V}$分别表示特征和结构上的扰动函数。

?首先，通过扰动函数，生成两个增广图${\mathcal{G}}_1=({\mathbf{A}}_1,{\mathbf{X}}_1)$和${\mathcal{G}}_2=({\mathbf{A}}_2,{\mathbf{X}}_2)$，其中 X 1 = { τ f 1 ( x v ) ∣ v ∈ V } , A 1 = τ s 1 ( A ) , X 2 = { τ f 2 ( x v ) ∣ v ∈ V } , a n d A 2 ? = τ s 2 ( A ) \mathbf{X}_{1}=\{\tau_{f}^{1}(\mathbf{x}_{v})|v\in\mathcal{V}\},\mathbf{A}_{1}=\tau_{s}^{1}(\mathbf{A}),\mathbf{X}_{2}=\{\tau_{f}^{2}(\mathbf{x}_{v})|v\in\mathcal{V}\},\mathrm{and}\mathbf{A}_{2}^{\dagger}=\tau_{s}^{2}(\mathbf{A}) X1?={τf1?(xv?)∣v∈V},A1?=τs1?(A),X2?={τf2?(xv?)∣v∈V},andA2??=τs2?(A).然后使用共享的GNN编码器为两个视图获取两组节点表示，分别为${\mathrm{H}}_1$和${\mathrm{H}}_2$。最后，训练GNN编码器，最大化${\mathrm{H}}_1$和${\mathrm{H}}_2$之间的相似性。

4、LLM4GCL

4.1、LLM v.s. Graph Augmentor

4.1.1、LLM对特征增广

1、传统图特征增广
?对于给定的结点$v$和文本属性$S_v$，传统的GCL方法：
$${\hat{\mathbf{x}}}_v={\tau }_f({\hat{\mathbf{x}}}_v)={\tau }_f(\mathrm{Emb}({\mathcal{S}}_v))$$
使用纯随机函数生成增广后的特征向量${\hat{\mathrm{x}}}_v$。但是，这种方法仅在$\mathrm{Emb}(.$)模块转换的数值空间内引入扰动，这不能有效地操纵原始输入文本属性。

?为了克服这一限制，使用LLM直接扰动输入文本$S_v$，并通过下面三个提示模板来增强的文本属性$S_v$。

2、使用LLM来做特征增广
（1）Structure-Aware Summarization (SAS)

S v N = { S u ∣ v ∈ N v } \mathcal{S}_v^N=\{S_u|v\in\mathcal{N}_v\} SvN?={Su?∣v∈Nv?}表示结点$v$邻居的文本属性集合。

SAS的主要思想
?利用LLM理解来自其邻居和其自身的语义信息来对锚节点$v$总结概括。具体地，对于每个节点$v$构造一个提示，该提示结合了锚节点及其邻居的文本属性，表示为 { S v ， S v N } \{S_v，\mathcal{S}^N_v \} {Sv?，SvN?}，用于修改其文本属性。最后，使用这些总结概括的文本属性作为增广的属性。

（2）Independent Reasoning (IDR)

?指导模型对类别进行预测并作出合理的解释，这样的推理能够促进LLM理解输入文本的语义重要性并强调最相关的因素。
?为此，对每个结点$v$，生成一个提示，该提示将锚结点的文本属性作为输入，并指示LLM同一侧该节点的类别并提供解释。然后，利用预测和解释来表示增广的属性${\hat{S}}_v$。

（3）Structure-Aware Reasoning (SAR)

?SAR将结构信息聚合到推理过程中，因为相连接的节点可以帮助推断锚节点的类别。

?对于每个结点$v$，设计包含锚节点文本属性$S_v$及其邻居$S_v^N$文本属性的提示，来推出结点可能的类别。得到的预测和解释来增广属性$S_v$。
为了减少ChatGPT的查询开销，结构感知提示中为每个锚节点随机抽取10个邻居（SAS和SAR）。

4.1.2、LLM对结构增广

1、传统图结构增广

?TAG的邻接矩阵$\mathrm{A}$，传统的方法通常依赖于结构扰动函数${\tau }_s$，随机删除或添加边，从而生成增广后的结构$\hat{A}$。但是，属性不可知的性质对于捕获属性和关系数据之间的互补信息可能不是最佳的。

2、利用LLM进行图结构增广

（1）Graph Structure Augmentation (GSA)
?$N_v$和${\bar{N}}_v$分别表示与结点$v$相连和不相连的集合。询问LLM，预测$N_v$（或${\bar{N}}_v$）中的节点是否应该与锚节点$v$不连接（或连接）。更准确地说，通过提示模板，并考虑它们自身的文本属性来回答这个问题。

?之后，构建了一个增广结构$\hat{A}$——LLM的决定是否删除或添加边。

?为了提高查询效率，最初采用浅层嵌入算法，如BoW，来评估两个节点之间的成对相似性。随后，根据在实验中查询ChatGPT的得分，从$N_v$中按降序选择Top-20个最近的邻居，从${\hat{N}}_v$中按升序选择Top-20个未连接的节点。

下图时LLM作为图增广生成器：

4.2、LLM作为文本编码器

?本节来说明如何实现嵌入函数$\mathrm{Emb}(.)$——它负责使用LLM将（增强的）文本属性（$S_v$和${\hat{S}}_v$）转换为嵌入向量（$x_v$和${\hat{x}}_v$）。

?直接使用预先训练的LLM来编码$S_v$，从而赋予GCL捕获更丰富语义的能力。然而，由于TAG数据集和一般文本数据之间的不匹配，LLM的这种直接应用可能会产生较差的性能。因此，需要进行微调。
在本小节中，我们提出了三种用于微调图对比学习LLM的策略。

由于计算资源的限制，实验使用的是PLMs而不是LLMs。

4.2.1、Masked Language Modeling (MLM)

?思想是直接在文本属性上微调模型。该方法方法通过屏蔽句子中的标记来进行模型微调。

?具体来说，对于拥有$n_v$个token的文本属性 S v = { w 1 , w 2 , . . . , w n v } S_v=\{w_1,w_2,...,w_{n_v}\} Sv?={w1?,w2?,...,wnv??}，$w_i$为一个token。随机的掩盖$\omega \%$的$S_v$中的token，并用标记MASK token替代。我们将掩码标记的集合定义为$S_{mask}$，而观察到的标记集合表示为$S_v^{?S_{mask}}$，形式如下：
$${\mathcal{L}}_{\mathrm{MLM}}=\sum _{w_i\in S_{\mathrm{mask}}}\log P_{\theta }(w_i|S_v^{?S_{\mathrm{mask}}})$$

其中$\theta$是PLM的模型权重。实验中，我们将$\omega$的值设置为15。

4.2.2、Topology-Aware Contrastive Learning (TACL)

?MLM的一个局限性是微调过程不能学习图的拓扑信息。为了解决这个问题，使用对比学习来微调PLM。
?给定节点$v$和他的一个相连的结点$u$。设$x_v$和$x_u$分别表示PLM模型生成的节点$v$和$u$的表示，$\mathrm{sim}()$为余弦相似度函数，TACL的训练目标为：

$${\mathcal{L}}_{\mathrm{TCL}}=?\sum _{u\in N_v^{\mathrm{pos}}}\log \frac{\exp (\mathrm{sim}({\mathbf{x}}_v,{\mathbf{x}}_u)/\tau )}{{\sum }_{n=1,n\ne u}^B\exp (\mathrm{sim}({\mathbf{x}}_v,{\mathbf{x}}_n)/\tau )}$$
其中$N_v^{pos}$包括从$N_v$随机采样的$K$个节点，其中$K$是超参数。$\tau$为温度参数，$B$表示批大小。

4.2.3、Multi-Scale Neighborhood Prediction (GIANT)

?与TACL不同，采用来自GIANT的方法，通过将该任务转换为多标签分类问题来重建所有邻居。然而，直接微调PLM对高维输出空间的大小$|\mathcal{V}|$在计算上是不可行的。
为了解决这一个问题，GIANT采用了多标签分类（XMC）的极端形式。该算法的核心思想是基于PIFA特征，利用平衡k-means算法构造层次化的节点聚类树。之后，PLM被预先训练以自上而下的方式匹配最相关的聚类。
?通过采用这三种微调策略，我们可以有效地使PLM模型适应TAG。通过微调，该模型就能够将原始和增强的文本属性转换为数字特征。

5、实验

实验过程中，目的是解决如下问题：

• RQ1——GCL对TAG有帮助吗，特别是与标准GNN方法相比？
• RQ2——没有微调的通用PLM是否足以编码文本属性，以及所提出的文本编码微调策略如何执行？
• RQ3——LLM在生成增广的特征和结构方面有多有效？
• RQ4——哪些类型的语言模型最适合TAGs上的GCL？
• RQ5——LLM-as-TextEncoder是否也可以增强图生成式自监督学习方法的性能？
• RQ6——LLM-as-TextEncoder生成的文本嵌入与浅层方法生成的文本嵌入相比效果如何？

5.1、实验设置

数据集：五个常见的公开的数据集——两个引用数据集，PubMed和Ogbn-Arxiv；三个电商数据集，Electronics-Computers (Compt), Books-History (Hist),和 Electronics-Photography (Photo).更多详细信息在附录A。

基准模型：GNNs方法——GCN,GAT；GCL方法——GraphCL，BGRL和GBT;语言模型——BERT，DeBERTa和RoBERTa。更多在附录B.1。

实施：利用Huggingface的PLM进行特征提取，并利用OpenAI的ChatGPT 3.5进行图增广。更多在附录B.1。

5.2、图对比学习对TAGs有用吗？

?在提出的基于LLM的增强和文本编码策略之前，有必要了解现有的GCL方法在TAG上的表现，如下表-1所示。

收获：

• GCL方法可以提高GNN在半监督场景下对TAG的性能；
• GCL方法在许多情况下会降低性能；
• 对比学习对GNN模型进行预训练可以提高其在少数情况下的性能；

5.3、LLMS能增强文本属性的编码吗？

?为了解决RQ2关于使用LLM来增强TAG上的文本属性的编码的潜力，研究了第3.2节中提出的三种微调策略的有效性，即MLM，TACL和GIANT。表-1列出结果。

收获：

• 直接使用从通用PLM获得的文本编码而不进行微调不会提高性能。
• GCL方法在许多情况下会降低性能。
• TACL和GIANT通过整合结构信息，可以提高GCL方法的性能。

5.4、LLMS在图的增广中的有效性如何？

?在本节中，我们进行实验来评估利用LLM进行图增强以实现进一步改进的可行性（RQ 3）。具体来说，我们研究了三个特征增强提示的影响，即SAS、IDR和SAR，图4总结了结果，从中我们得出了几个关键的观察结果。

收获：

• 通过使用我们的增强特征和结构（称为“ChatGAug”）增强标准GCL方法，可以进一步提高其性能。
• 利用LLM（例如，ChatGPT）联合增广节点特征和图结构比单独增强它们更有效。
• 基于推理的提示往往优于文本摘要提示。
• 最好的提示模板在不同的数据集中可能会有所不同。

5.5、额外实验

?为了回答RQ4，探讨了不同语言模型主干对GCL方法的影响。图5展示了BERT主干的结果，揭示了最佳语言模型配置对于不同的GCL方法在不同的数据集上是不同的。（附录）

?因此，定义一个统一的语言模型，在各种方法和数据集上表现出很强的泛化能力，这是未来研究的一个很有前途的途径。

RQ5：选择两个代表性骨干：GraphMAE和S2GAE。在实验中，通过将原始的浅层嵌入替换为我们微调的PLM生成的嵌入来测试它们的性能，特别关注DeBERTa。附录中表13中的结果表明，当利用GIANT和TACL生成的节点特征时，GraphMAE和S2GAE通常产生更好的结果。这些发现与在5.3节中对GCL的发现一致，突出了LLM4GCL在更广泛的自监督图学习领域中的潜在适用性。

RQ6：采用嵌入可视化，结果说明了不同微调策略的影响。我们从可视化中观察到，GIANT和TACL学习的嵌入空间在产生更明显的聚类方面表现出色。这些结果为我们的初步实验中GIANT和TACL的上级性能提供了额外的支持。